华南银行从去年6月开始发展生成式AI，在去年9月便完成了第一支GenAI服务的POC验证。
「每月的高阶主管会议，我都得向董事长报告GenAI效益。」华南银行副总经理陈晞涵说：「最新数据是，产生50多名数位劳动力，相当于一年千万元的价值。」
2022年，华南银行启动数位转型计划，尽管起步稍晚，但他们正积极追赶，甚至成为生成式AI的先前者。在华南，生成式AI成了高层最关注的一项技术。每个月，统筹金融科技与资讯系统发展的陈晞涵，都得在高阶主管会议中，更新这项技术的推动情况。
甚至，「等不及我的报告，总经理就天天敲门问我，生成式 AI 的进度如何」高层的关注，让他们更积极的投入。早在去年6月，华南银行就开始发展生成式AI，5个月后公开了导入生成式AI原则和蓝图。
华南生成式AI战略不靠自建LLM
华南银行兵分两路发展AI，一条路线是延续传统的机器学习，包含华南自行开发的AI防诈模型、防洗钱模型，和客户贴标模型等，另一个新方向则是生成式AI。
如何发展生成式AI，「我们很快就决定要上云端。」陈晞涵解释，规画初期评估后发现，落地型生成式AI系统的初期基础建设成本十分庞大，光是GPU运算丛集，就需要2,000万至6,000万元不等。「初期开销庞大，却没办法展现效益，对科技长或资讯长而言，都会是辛苦的过程。」陈晞涵说。
不只考量成本，人才也是一大考量因素。陈晞涵解释，训练模型，除了昂贵的设备，还得设法招募懂得调教LLM人才，「这并不实际。」他坦言，目前这类人才稀缺，即便勉强找到人，也可能快速被挖角。因此，他更倾向和云端业者合作，才能更专注在GenAI应用开发。
去年6月，华南银行和云端厂商完成签约，运用地端AI平台介接云端LLM，三个月后，华南银行内部完成了第一支GenAI服务的POC验证，连接各部门的数据和文件，提供一站式的知识管理平台服务，并在去年12月正式上线。目前，这个知识管理平台上架了两本实务手册，分别是人资和存汇实务手册，涵盖了这两类作业最重要的参考资讯。陈晞涵表示，今年预计再上架5本实务手册，包括财富管理产品资讯，和授信相关内容。
生成式AI双轨应用模式
华南银行生成式AI发展还细分成两种应用模式，第一种是AI平台应用，包括去年12月正式上线的知识管理平台，今年第四季预计上线多国语言翻译功能，和语音转文字服务。
针对知识管理平台服务，陈晞涵解释，过往传统上，银行内部实务手册多以PDF形式供员工查阅，例如，人资工作须知、存汇作业流程、手续费规定等。这类文件动辄数百页，行员手动翻找规范时，往往需耗费不少时间。因此，华南想到的第一项生成式AI应用，就是知识管理。他们将内部实务手册等文件导入云端生成式AI平台，由LLM进行摘要和应答，供行员快速查找相关规范。
「刚上线、不做任何调教，就有六成左右准确率。」陈晞涵指出，在开发初期，团队仅将文件上传，就已展现不错的应答能力。为了进一步优化，团队设计了回馈机制，让员工标示无帮助的回答内容。上线初期，标示无帮助的讯息比例约15%，随著模型持续调教，这类讯息的比例降至3%至5%，目前，知识管理平台准确率也提升至约九成。在平台使用量上，陈晞涵也表示，每月互动量超过1万笔，半年以来累积总查询也达到6万笔以上。
除了用于优化平台，知识管理平台的回馈机制，也成为改善实务手册资料的依据。陈晞涵解释，团队重新检视被标示无帮助的实务手册内容，发现部分资料存在错误或矛盾。例如，同样是台风天作业规范，却因前人和后人分别书写，导致规范内容前后矛盾。因此，华南也建立一支小型团队，负责将需要精进的内容分派到不同业管单位，让各单位自行修改知识内容。
起初，华南仅聚焦在通用型应用，挖掘适合全行8,000名员工使用的服务。不过，随著应用取得一定进展和效益后，华南今年开始发展第二轨生成式AI应用模式—AI代理人（AI Agent），包括生成产经征信研究、授信报告，和投资研究报告，或是使用GitHub Copilot来辅助IT人员。
陈晞涵坦言，AI代理人应用模式尚在实验阶段，团队已启动多项尝试。例如，针对银行授信人员需要撰写的产经研究下手，从网路上取得锁定研究的产业领域资料，来自动生成报告。不过，「到上月为止，我们认为不太成功。」陈晞涵解释，由于模型从网路抓取的杂讯过多，导致报告品质不稳、内容不够精准。为了解决这个问题，最近，他们开始转变作法，改以华南内部订阅的高品质资料作为模型素材，例如专业财经资讯源或信评机构等资讯服务平台。
授信报告和投资研究报告生成，是陈晞涵看好的AI代理人应用场景。他表示，团队目前积极寻找其他AI代理人应用，「提供模型部分资料后，让模型协助生成一份报告，或是提供某份报告的回应。」陈晞涵预计今年底举办全行黑客松，希望能产生8至10件AI代理人落地案件。
华南目前较成熟的AI代理人应用，是采用GitHub Copilot来辅助IT团队。陈晞涵表示，目前IT团队已订阅这项工具，应用在弱点修补、系统手册撰写，和生成测试脚本。
他解释，过去IT人员需要花费许多时间处理弱点，而Copilot应用能根据程式上下文，自动提出修补建议，且多数建议内容几乎可直接套用。不只如此，陈晞涵表示，过往少数IT撰写的系统手册品质较低，甚至完全忽略撰写注解，导致后续维运不易。Copilot能自动分析程式码来补充注解。最后，华南IT也运用Copilot生成测试脚本，从原先的人工测试，改为AI辅助测试。
陈晞涵粗估GitHub Copilot的投资报酬率，每投入1元的成本，可带来7到9元的回馈。所以，华南准备扩大规模，预计再添购至少70至100套授权供IT团队使用。
生成式AI应用方向：辅助人员、资料生成为主
相较于优先发展AI的金融同业，华南银行偏向将AI定位在辅助员工工作，「更像是一名内部超级助理，而非主要执行者。」陈晞涵认为，以AI现今的稳定度而言，「还难以单独依赖AI来完成任务。」因此，华南发展的生成式AI应用方向，更著重在辅助现有系统或人员，协助生成部分资料，而非发展代理型AI。
延续这个应用方向，华南进一步根据生成式AI擅长的任务，来寻找应用场景。陈晞涵认为，生成式AI的潜力，是能进行资料搜集、推理，和依样化葫芦，「只要提供足够的训练资料，就能生成类似作品。」他解释。例如，华南正在发展一款授信助理，就是一个可以同时发挥三项潜力的应用场景。当行员要撰写客户的授信报告时，只要内部有客户的完整资料，或是拥有和客户业务型态、规模相似的授信报告资料，生成式AI就能依据这些过往资料，协助行员生成相似的报告内容。
除了根据生成式AI潜力来评估应用场景，华南也用了「数位劳动力」概念，来衡量每一项AI应用带来的效益。陈晞涵举例说明，若要立刻关闭华南所有AI工具，必须额外增聘约50人，才能处理相同工作量，就等于这些AI工具可以带来50名数位劳动力。「并不是真的取代人，而是看AI创造了多少数位员工。」他解释，还可以进一步换算出产值，一个作法是将人力换算成薪资，「一年大概有千万元的效益。」陈晞涵说。
未来，华南预计会发展更多AI代理人应用，例如授信审核和履历资料审核助理，前者协助审核员建立一致的授信文件审核标准，后者则是辅助人资从大量履历资料中筛选合适的求职者。
在基础建设上，为了更方便透过API存取内部训练资料，华南也正在建立物件型储存空间（object storage），来提升既有资料架构。
针对生成式AI技术发展，陈晞涵表示，他正在密切观察小型语言模型的发展，关键是，「要分辨出，哪些才是真正可以落地的模型。」他强调。文⊙李昀璇