台新金控在2024年台北金融科技展上公开展示运用自行训练的LLM打造的拟真客服人员。（摄影：李昀璇）
今年台北金融科技展上，多家金融业者展示自家GenAI应用。台新金控也是其中一间业者，展示包括用生成式AI升级的智能客服、服务企金客户的拟真客服人员、影片生成服务，和音乐生成服务等应用。
不过，台新的亮点不仅在GenAI应用本身，而是背后运用的模型。没有直接采用云端现成的生成式AI服务，台新用现成的基础模型进行预训练，来客制出专属的大型语言模型。在今年台北金融科技展上，台新展出的客服相关应用，就是透过一个名为台新脑的LLM打造而成。甚至，台新金控资讯长孙一仕也喊出，预计最快年底对外推出运用台新脑升级的智能客服。
自行训练LLM，靠台新脑和工具脑分工发展GenAI客服和特定任务
台新现有大型语言模型分为两种，一种是台新脑，是一个拥有370亿参数量的LLM，负责「懂台新」，发展智能客服等应用。另一种是工具脑，包含数个参数量较小的LLM，负责处理单一工作任务，如报告生成、图片生成、影片生成等任务。
就台新脑来说，台新金控资讯长孙一仕表示，他们和外部厂商合作，先运用云端资源训练370亿参数量的LLM。训练完成后，再将模型放置于台新内部的地端环境运作。自今年5月，台新就训练出第一版台新脑。孙一仕表示，在测试台新脑过程中，台新除了运用基本的中英文测试集，也运用金融专业人士的考试题目来测试「台新脑」的金融知识。目前，台新脑经过5轮测试，预计会再进行2轮测试。
除了运用台新脑打造客服应用，台新也预训练数个参数量较小的开源大型语言模型，打造数个处理特定工作任务的「工具脑」。例如，台新在台北金融科技展上展出的影片生成服务和音乐生成服务，就是透过不同工具脑开发而成，而非透过台新脑打造。
为了发展AI，台新预估已投入约3,000万，光是硬体资源就包含16片Nvidia H100 GPU。此外，台新也组成一支拥有20位AI专业人员的团队，负责训练模型、开发应用，和将AI应用介接IT系统。并且，这支团队也要负责和业务单位讨论GenAI需求。
目前，台新内部落地的GenAI应用分为三类，「一个是智能客服，一个是内部知识管理，第三个是内部图片生成。」孙一仕表示，内部正在积极和各子公司合作，预计明年将推出12支AI应用，包括智能理专和智能对练等对内服务。