国泰金控表示，要透过和Nvidia合作，打造台湾首个金融AI Agent。(图片来源:国泰金控)
国泰金控今日在Nvidia GTC Taipei上宣布，未来会聚焦发展AI Agent，要透过和Nvidia合作，打造台湾首个金融AI Agent。此外，在活动上，国泰金控发表了一项台湾金融知识LLM的实验案。这个由国泰金控打造的台湾金融知识LLM，未来也将作为金融AI Agent背后的核心大脑引擎，支援多元金融服务应用。
早在去年九月，国泰金控就公开自家GenAI技术框架GAIA。这是国泰发展生成式AI的基础框架，也是他们发展AI即服务（AI as a Service）的核心。当时，这个技术框架仅包含三个核心模组，分别是知识库、Model Hub，和护栏。
然而，国泰金控副总经理刘浩翔表示，为了强化AI Agent发展，国泰金控也调整了GAIA技术框架，在框架中新增了AI Agent模组。他也表示，未来要透过和Nvidia合作，强化AI Agent应用的环境互动能力、记忆处理能力、学习成长能力和自主化能力。「这些都将是我们在发展金融 AI Agent 时，技术建设上必须完成的方向。」刘浩翔说。
为了强化AI Agent发展，国泰金控调整了生成式AI技术框架GAIA，在框架中新增了AI Agent模组。(图片来源:国泰金控)
刘浩翔提到，国泰金控对于AI Agent长期愿景，则是能发展出各种金融服务的AI Agent，例如信贷AI Agent、贷款AI Agent、信用卡AI Agent、保险AI Agent，和财管AI Agent等。「我们希望未来各种AI Agent，除了能在国泰内部互相沟通协作，也能跟异业合作伙伴做Agent to Agent的协作沟通。」他说。这是国泰金在发展金融AI Agent生态系的长远目标。
不过，要能实现这个长远目标，「有个最关键的成分，是背后需要一个具备台湾金融授信知识的LLM。」刘浩翔说。这也是国泰金控今日在Nvidia GTC Taipei上发表的一项实验案。他们运用包括财经新闻、台湾金融法规和台湾金融知识等资料，透过NVIDIA NeMo训练框架，在本地端环境预训练、微调多个开源大型语言模型，并且，国泰金控将金融授信证照相关考试，作为模型的验证目标。
这个实验案中的模型训练框架包含资料处理、模型选择，和验证方式，底层架构则包含训练框架和算力基础。国泰金控在资料处理中有运用资料清洗，以及由金融专业人员进行资料标注，和运用NVIDIA NeMo Curactor协助生成资料，进行资料增强。
国泰金控针对金融LLM设计一套模型训练框架，以进行预训练和微调。(图片来源:国泰金控)
而在模型选择上，国泰选择三个模型，分别是Nvidia的nemotron模型、国科会打造的TAIDE模型，和Project TAME模型，模型参数量大约在7B至8B左右。另外，国泰采用了微调和预训练的方式来训练这些开源模型。
而在模型训练阶段时，国泰先是透过预训练建立模型对金融语言和知识的理解基础，再运用微调模型，来进行任务导向调整，让模型具备金融语境推理能力和授信流程专业知识回应能力。另外，他们国泰也有整合Deepspeed框架来加速训练模型，降低GPU和记忆体使用。
最后在验证方式上，国泰金透过三类验证机制来衡量模型是否训练成功。第一类是金融专业知识，包括让模型进行授信实务证照考试，并测试模型的多轮问答能力。第二类是泛化能力，也就是训练模型在基础知识上的能力。刘浩翔解释，有许多模型过度训练，反而可能失去基础知识能力，因此国泰仍有设立相应的验证机制，来确保模型在基础知识的能力并未减损。第三类是验证效率优化。国泰运用Nvidia服务来测试模型的效率优化程度。
国泰金控表示，模型训练结果显示，完成训练后的模型可以通过授信证照考试，并维持繁体中文泛化理解能力。三种开源模型在完成预训练和微调后，进阶金融授信知识正确率都有近九成，甚至超过九成的正确率。繁体中文泛化理解能力则是和原始模型维持相近的水准。
实验案中的模型训练结果显示，完成训练后的三种开源模型都可以通过金融授信证照考试，并维持繁体中文泛化理解能力。(图片来源:国泰金控)
国泰金控表示，未来他们会延续这项实验案的成果，让这个台湾金融知识LLM作为打造金融AI Agent背后的核心金融大脑引擎，进一步串接至各项金融服务的工具，打造出台湾首个AI Agent。