台新金控资讯长孙一仕 （摄影／洪政伟）
在iThome 2024年CIO大调查中，超过半数的金融业者开始导入和验证生成式AI，台新金控也是其中一家，但他们大胆尝试了一条不一样的道路。
今年三月，台新金内部举办了一场图像生成挑战赛，鼓励子公司员工组队参与，运用各种提示工程来生成图像作品。这群员工当时所试用的模型，正是台新金自建的图型生成模型。没有直接采用云端现成的生成式AI服务，台新用现成的基础模型进行预训练，来客制出专属的大型语言模型，打造出能懂台新金和各子公司的「台新脑」。
考虑自建，并不是偶然为之，而是经过一连串实验后立下的决策。早在去年初，台新金就开始研究生成式AI，并将生成式AI作为未来两年的发展重点。他们不只制定AI发展关键因子，和AI导入指引，还发展4项实验专案，包括协作平台的聊天机器人Teams Chatbot、知识管理平台、程式码撰写助理Codex，以及虚拟智能客服。
当时，台新金采用Azure OpenAI服务提供的大型语言模型。经过一连串试验，台新金评估，使用云端服务虽有好处，但也存在盲点。台新金控资讯长孙一仕说明，目前各家科技大厂推出的LLM功能虽然强大，「但我们可能只需使用三到四成功能， 」例如，影片生成，就是银行不太会用到的功能。
再者，采用云端LLM服务时，企业仅能透过微调或RAG来优化，让LLM模型具备银行的内部知识。「这个方式可行，但不确定是不是够好的作法。」孙一仕说明，考虑走向自建，并非现有方法不对，而是希望探索其他方法的可能性。
他指出，现在的LLM模型功能强大，如同18岁的成年人，技能样样精通，唯独得花费精力向他介绍台新，但是，能否找出另一种LLM的可能，「他可能只是三、四岁的天才儿童，很多技能不会，但天生就懂台新。」孙一仕强调，方法没有对错，差别在于，「你看重大型语言模型哪些功能，又期待模型拥有多少企业的Know How，以及日后维护成本多高。」
运用云端资源补足算力资源
从去年11月起，台新就开始评估自建LLM模型的实作方法。目前，台新打算运用云端资源来补足训练模型所需的算力。「建模时运用云端，跑模型则靠地端。」孙一仕指出，建模需要仰赖大量算力，得靠云端资源来补足，但在使用模型时，地端资源就足够支持模型的运作。因应自建模型的策略，算力，是台新今年在云端的重点投资项目。
在挑选基础模型时，台新找来大学教授协助评估，根据两项条件来进行筛选。先根据想用的功能，来选定适合的模型参数量。再来是，测试模型支援繁体中文的能力。决定了基础模型后，才挑选适合的云端算力供应商，来评估适当的模型运算环境。不过，孙一仕点出，挑选云端业者时，不能只考虑价格，同时要注意供应商绑定问题。他坦言，这是他们目前正在努力克服的议题。
成本计算和资料治理成挑战
对金融业者而言，无论采用哪种方法导入生成式AI，都存在潜在风险，如何计算成本，便是一大挑战。孙一仕解释，走向自建，可能需要的算力投资过大，若用云端LLM，成本则随著使用次数上升而增加，难以准确掌握长期的投资金额。孙一仕表示，根据台新目前实验的结果，「我们可以确保继续执行自建模型的成本可控。」不过，针对长期的开销，他也坦言，目前各家金融业者没有实测数据，「只有假设，需要时间才能知道哪种方式比较贴近事实。」
导入生成式AI的另外一项挑战，则是资料治理。训练或调教大型语言模型所需的资料，涵盖了行内和行外的资料，资料形式上更有大量的非结构化的资料，例如，新闻、财报等。孙一仕指出，金融业过往较擅长处理行内的结构性资料，如客户资料和交易数据。但是，针对非结构化资料，各家金融业者尚在研讨适当的治理方式。甚至，即便是结构化资料，都需要进行调整才能汇入LLM模型。因此，孙一仕强调，资料治理可能也是金融业导入生成式AI时，需要投资的一大重点。
最后，孙一仕指出，自建模型所需的人力资源，和使用云端服务有很大的不同。例如，采用云端服务形式，较不需要聘请大型语言模型专家，仅需要了解如何适当运用工具，「不同模式会牵涉到企业需要留在手边的经验或系统。」
「这段时间台新走得战战兢兢，因为大家都对我们说，你的方向错了。」孙一仕笑说，这一路下来并不轻松，但他仍旧希望尝试不同路线。在生成式AI的赛道上，台新要用自建模型来另辟蹊径。