永丰银行推出一项名为投资水晶球的服务，运用GAI提供市场资讯摘要，是国内第一家将生成式AI运用在对外服务的金融业者。
GAI技术爆红后，不仅让技术人员感到兴奋，就连金融业中的业务单位，也对这项技术充满期待。永丰银行财富金融处处长蔡隆裕就认为，GAI能发展许多应用，「想像空间非常大。」永丰银行锁定的第一项关键应用，便是运用GAI来提供金融市场资讯摘要。
为何先从这项应用起步？蔡隆裕解释，过往银行提供客户各种金融市场研究资讯时，往往面临两大痛点。第一，产出研究报告的人力有限，无法快速针对多个市场发表看法。第二，研究人员和客户关注的消息不完全一致，这就导致，研究人员产出的报告，未必都能贴合客户需求。例如，当市场出现波动，银行客户可能想了解，特定人物的言论是否会影响市场趋势，「但如果研究人员认为这些言论不影响他们既有看法，可能就不对特定事件进行分析。」蔡隆裕说。
看上GAI的摘要能力，永丰银行设定了两个开发目标。第一，能用同一套方法论处理多个市场，快速提供多个市场资讯。第二，针对民众在意的事件提供见解。
今年八月，永丰银行率先将生成式AI用在对外服务，推出一项名为「投资水晶球」的服务，透过汇整国内外超过500个媒体平台数千篇最新报导，再依照台湾、美国与中国三大市场，各别提供约1,000字的市场趋势摘要，并在十月初新增了日本和印度市场报告。
这项服务每两日更新一次，每次更新，都会根据近5日新闻提供多个市场趋势摘要。摘要内容包括列出影响市场变动的因素，和提供可密切关注的趋势和议题，以及总结市场趋势。
这项应用功能看似单纯，背后其实投入了大量资源，永丰银行集合了资讯处、财富金融处、综合企划处等单位，组成跨部门专案团队，并和永丰金控、永丰投顾合作，每月举办一次专案会议，跨部门人员共同针对模型回应和指令提供意见，来确保服务上线后不会产生疑虑。
跨部门专案团队每月开会讨论模型回应和提示内容
永丰银过往的AI专案多由金控技术单位负责，但这款GAI应用，改由该行综合企划处负责执行专案，采用了提示工程，主要由专案团队人员撰写提示指令。
金控技术单位会提供初版提示，专案人员接著利用员工专用GAI小帮手，测试想调整的提示词，完成一个版本后，交由开发人员在正式环境中执行提示，再由专案人员检视执行结果。反复执行这个过程，直到模型回应达到理想程度。永丰金控技术单位会从旁提供提示词修改建议，如增加参数限制。
永丰银行综合企划处处长王筱岚表示，专案团队每月专案会议中，会针对模型指令和回应进行讨论，并给予修改意见，「绝不是单一部门决定整套指令。」专案团队还征求法遵法务意见，确保对外GAI服务合规性。
从产品发想到正式上线只花了半年。开发期间，永丰银行同步进行调查，收集超过8千条客户意见，来了解市场接受度，上线前更找来2千名客户试用实测，确认满意度后，才正式推出。
为了打造这项对外GAI服务，永丰银行组成跨部门专案团队，定期召开专案会议讨论模型回应和指令。图左为永丰银行财富金融处处长蔡隆裕，图中为永丰银行资讯处处长沈志成，图右为永丰银行综合企划处处长王筱岚。
先用新闻筛选模型找出重要新闻，再运用多阶段提示词完成开发
每一份市场摘要报告中，看上去，仅是一串摘要文字，实则处理了国内外超过500个媒体平台的上千篇最新的新闻，背后涉及了大量资料处理工程。
起初，专案团队仅使用一段式指令打造这项应用，但效果并不理想。第一个挑战，是模型难以根据即时性，来排序新闻资讯的重要性。「对GAI来说，五天的新闻资讯都是等值。」蔡隆裕解释，在没有设定任何参数的情况下，模型可能摘要五日前的新闻，也可能仅摘要近一日的资讯，「这就不是我们想呈现给客户的资讯。」
第二个挑战，是模型回应对市场趋势看法飘忽不定。蔡隆裕解释，由于新闻报导容易受到市场波动影响，「如果大涨大跌，当天新闻就会写得很热烈，且新闻内容可能较多，但如果当天波动小，新闻内容可能就比较简单、平淡。」这项问题，导致LLM模型输出的摘要，难以形成一致性的见解。
为了解决这些挑战，专案团队在处理新闻资料筛选下了许多功夫。首先，团队把近五日的新闻资料向量化，并进行向量化匹配，从中筛选出最相关的新闻，进行第一阶段的杂讯过滤，去除重要性较低的新闻。接著，团队运用一个数学模型，对过滤出的新闻资料进行时间权重计算。这个模型主要负责新闻筛选，可以用来确保LLM模型在生成摘要时，会优先采用应关注的新闻。
运用模型筛选出应采用的新闻资讯后，团队才开始运用多段式提示词，来完成这项应用开发。在提示词中，团队过指示模型分段撰写，以及每一段应阐述的重点，来提高模型回复的专业度和可读性。并且，团队也将永丰投顾的未来展望化为一套参数，在提示词中要求参考这项参数，来确保模型回应不会仅依照新闻字面内容生成回应，而是针对特定事件提供专业性较高的见解。
虽然服务已经正式上线，专案团队仍持续持续提升模型筛选新闻的能力、修改提示词，并测试新推出的LLM，若新版模型效果较强，则会改为采用更新的模型服务。
从单一应用起步，永丰银行要建立共用GAI平台加速业务发展GAI应用
GAI摘要的资料，不只用于这项服务，永丰银行计划扩大发展成一个可再利用的共用知识库。永丰银行资讯处处长沈志成解释，未来，其他单位不用从头处理，直接筛选或重新撰写提示词，就能生成新的资讯。
不只如此，以这项关键应用为基础，永丰银行正逐步发展出一套全行共用的GAI平台，能汇整各种GenAI服务和共用知识库，提供行内各业务单位快速打造GAI应用。而市场资讯摘要，正是建立在这个共用平台上的第一支服务。
沈志成解释，这套共用平台具备弹性扩充特性，采用模组化设计，能提供使用者快速选用功能模组来开发GAI应用，包括资料库搜索、内容生成，和Copilot应用等模组。对业务单位而言，这套共用平台就是一支API，能串接多种API服务，例如市场资讯摘要API、程式生成API，和内部知识顾问API。「（共用平台）类似一套中台服务，全行各个系统都可以透过API介接，来使用生成式AI功能。」沈志成说。
永丰银行资讯处处长沈志成表示，永丰银行正逐步发展出一套全行共用的GAI平台，能提供行内各业务单位快速打造GAI应用。
这套共用平台也包含权限设置，除了针对模型输入和输出内容进行把关，也设计成本控管机制，能统计各单位token使用次数，和使用模型服务的开销。
为了打造这套共用平台，永丰银行资讯团队正在克服诸多挑战。由于开发生成式AI应用所需的资料来自多个管道，需要运用云端服务或爬虫技术来搜集、汇整资料，如何有效收集并管理来自不同来源的资讯，便是其中一项挑战。
此外，资讯团队批次处理资料的过程中，如何确保资料能顺利流动是一大关键。甚至，当使用者在资料更新的过程中取用资料，如何设置适当的处理机制，也是资讯团队需要处理的重要议题。文⊙李昀璇