早在2020年，永丰金控就定调以AI做为集团数位转型核心。四年来，永丰内部累积超过百个AI专案，使用超过上百个AI模型。GAI爆红后，永丰快速跟上趋势，甚至是台湾第一批将GAI运用在对外服务的企业。

除了在银行对内推出员工专用GAI小帮手，辅助员工日常工作任务。近期，永丰银行和永丰金证券更进一步推出面对顾客的GAI服务，前者提供顾客上千篇国内外新闻资料的市场资讯摘要，后者运用生成式AI汇整市场资讯，提供个股新闻摘要和市场舆情分析。

为了打造GAI应用，永丰也尝试不少现成开发框架，例如LangChain发展早期，永丰就开始采用。不过，走的早，也让永丰面临不少挑战。首先，永丰采用的GAI开发框架快速迭代，徒增不少开发团队的维运工作。例如LangChain框架向下相容性差，不仅新旧版本互不相容，甚至有几次改版，让永丰开发团队不得不重构原有开发逻辑，造成不少开发困扰。

为了应对现成GAI开发工具的不稳定，永丰透过增加抽象层，来运用不同开发框架，避免被既有开发框架绑住。考量专案特性，永丰还会采用不同的开发框架。例如，对外的GAI应用，永丰会采用大型科技业者的技术架构，确保服务稳定性，对内的小型专案，则鼓励开发团队尝试各种开发框架来练功。

不过，永丰金控科技长张天豪强调，尝试多框架是阶段性做法，未来会减少所用的技术框架，来降低架构复杂度，「长期来说，我们想要打造一个专属永丰、快速开发生成式AI应用的套件或平台。」他说明，这个内部自行研发的平台，底层将提供不同开发套件，来加速开发人员作业。平台中间是API层，要’让业务人员容易透过API，来使用多种LLM模型服务。平台最上层则是一个低程式码（Low-code）开发介面，提供不同使用者，包括业务人员，不需要撰写太多程式码，就能调整、测试提示。

提示工程颠覆既有AI开发流程，如何有效检核模型回应是挑战

为何采取三层式的GAI开发平台，与永丰的GAI发展策略密切相关，最关键的是，低程式码介面的设计，主要目的是为了让业务人员能快速检核提示效果，甚至，让业务人员能主导GAI应用开发。

提示工程改变了永丰既有AI应用开发模式，如何有效检核模型效果，成为永丰开发团队的最大挑战。永丰的GAI策略，正是要推动业务人员成为GAI应用开发中的主角。「工程师没有能力判断，自己调整的提示够不够好，」张天豪点出开发GAI应用和传统AI应用最大的差异，这也是颠覆既有软体开发流程的主因。

传统AI开发流程中，开发人员可以根据模型回应结果的准确度，逐步调整、提升模型效果，但在提示工程中，建模不再是开发人员主要职责，如何有效调整提示、生成更理想的回应，并且让幻觉问题处在可控范围内才是关键。可是，当GAI应用越是贴近业务场景，开发人员越难有客观的模型准确度指标可参考，唯有具备领域知识的业务人员，才能判断模型生成回应的好坏。这就导致，开发人员需要和业务人员反复沟通，才能检核模型效果。

对永丰来说，如何建立开发人员和业务人员协作的开发流程，是一大挑战，光是找到适合沟通测试案例的工具，就是一道难题。

提示每更新一次就要业务人员协助测试

由于LLM先天的幻觉问题，即便是同样提示，都可能产出不同回应，每当开发人员更新提示，业务人员就得重新检视测试结果，来确认新产出的模型回应没有偏差。

永丰现行的开发流程是，开发人员会撰写出第一版提示，再由业务人员协助测试不同的情境、检视模型回应内容，并提供修改建议，再交给开发人员，根据这些建议来修改提示，然后再一次，找来业务人员重新检视同一批测试情境的模型回应，确保新版提示没有造成偏差，「这是业务同仁非常不喜欢的地方。」张天豪说。

为了双方讨论测试案例，目前，永丰金GAI应用开发团队采用了Excel表单。当开发人员执行完提示，会以在Excel表单，汇整所有测试案例的模型回应结果，提供给业务人员。

不是没想过换掉Excel，张天豪提到，内部曾自制过一款网页工具，提供业务人员确认每一版提示的模型回应，但是，「很难开发出UI/UX赢过Excel的工具，」他进一步解释，在Excel中，使用者可以快速在不同格内容间游走，随时对特定内容进行标注或编辑，操作十分自由。其他现成的协作工具或自制网页工具，未必能达到Excel的灵活度。

例如有100个测试案例，熟谙Excel操作的业务人员，自己懂得选用红色底色，来标记效果不好的模型回应，不需要额外说明，开发人员看到就能明白标记涵义。但是，运用其他协作工具时，使用者介面未必对业务人员足够友善，业务人员找不到完善的标注方式，就必须改用口述或电子邮件额外说明，徒增沟通困扰。

「我们希望技术进步，但实务上，GAI是为了解决业务问题。」张天豪表示，在GAI开发上，永丰的原则，是以业务人员需求作为主要考量，所以，采用他们熟悉的Excel，仍是目前最适合的解决方案。「最终目标会淘汰Excel，不过，需要一些时间。」张天豪说。

永丰期望推动由业务人员负责调整提示

意识到原有的开发流程行不通，永丰金正在朝向由业务人员负责调整提示，减少多次来回沟通的情况。永丰银行近期推出的一款面对顾客的GAI服务「投资水晶球」，能提供顾客上千篇国内外新闻资料的市场资讯摘要，正是透过非开发人员调整提示开发而成。

为了打造这款面对顾客的GAI服务，永丰银行内部组成跨部门的专案团队，包括资讯处、财富金融处等单位，并和永丰金控、永丰投顾合作，共同完成开发。和一般对内GAI应用不同，这款服务并非由业务单位直接和开发团队对接，而是由PM单位综合企划处负责专案规划和执行。

不同于永丰目前的GAI专案开发流程，这个专案是由专案团队人员负责调整提示。具体开发流程是，专案团队人员收到初版提示后，先在员工专用的GAI小帮手中，测试自己的提示词，确认无误后，再交由开发人员执行提示。这个过程会反复执行，直到模型回应达到理想程度。沟通过程中，开发人员也会针对专案团队人员的提示，提供修改建议，例如增加参数限制等。

另一方面，专案团队每月都会进行专案会议，针对模型回应给予建议。除了汇集跨部门意见，专案团队也会征求法务意见，确保对外GAI服务的合规性。

目前，永丰银行每周约更新三次服务内容，更新内容前，会先由永丰投顾人员审核内容，才对外发布。虽然服务已经正式上线，永丰银行的专案团队仍持续测试新推出的LLM，若新版模型效果较强，则会改为采用更新的模型服务。

业务人员才是GAI应用开发主角

为了让业务人员能深度参与开发，永丰金从集团策略角度，建立、培养新的开发文化。

目前，永丰金集团内部已经开设许多GAI课程，包含高阶主管在内，人人都要参与培训课程。例如，永丰银行今年在全行开设12场GAI课程，包含金控董总及高阶主管、业务高度相关人员，乃至全行员工，都要在课程中学习GAI应用概念、实作提示工程，掌握GAI基础概念。

同时，张天豪也尝试说服业务单位，「调整提示是业务同仁的工作。」在沟通过程中，他尝试让业务单位同理，即便是自己带领的开发团队，也正在面临角色转变挑战。

在GAI专案中，开发人员成为辅助开发的角色，他们不再需要建模，而是协助业务人员修改、执行提示，并将结果回传给业务人员。张天豪解释，这个过程十分繁冗，「对一些喜欢研发的工程师而言，是他们不喜欢的工作。」

为了减少开发人员从事繁冗作业，永丰金也正在研究替代方案。目前，永丰金正著手研究自动增强提示机制的有效性，「输入一个提示后，会输出更好的提示。」张天豪解释。若实验成功，有望缓解业务和开发人员的沟通不顺，让开发人员更专注在技术性任务。

从传统AI走到GAI，张天豪认为，「每个人的角色都会改变。 」过往AI开发人员期待从事研发工作，如今，却仅能运用科技大厂建立的模型。开发人员研发能力无处可施，难免感到沮丧，「但我告诉他们（开发人员），没办法，时代就是这样。」

更进一步，张天豪不断激励开发团队，希望开发人员重新思考自己的未来。「当每天的工作可能改变，甚至过去学校习得的技能，有朝一日完全用不到时，该怎么办？」他强调，GAI时代，每个参与开发的角色，都得重新思考自己的定位，而如何落实新开发文化，将会是企业重要课题。

 

 两种GAI应用开发流程大比较 

 永丰金现行做法  开发人员主导提示工程的GAI开发

在永丰金，目前大多数GAI流程还是由开发人员负责撰写、调整提示，业务人员负责检核模型回应。首先，业务人员向开发人员提出GAI需求，由开发人员提供初版提示。接著，业务人员协助测试各种情境、检视模型回应内容，并提供修改建议。开发人员根据这些建议重新调整提示命令后，再找业务人员来测试模型回应，若有问题或不符需求，再次找开发人员调整提示，并且再次找业务人员评估结果。因为开发人员无法检验生成结果是否符合业务需求，得和业务人员反复来回多次，甚至数十次，调整与验证后，才能完成GAI应用的开发。

 未来理想模式  业务人员主导提示工程的GAI开发

目前多数GAI开发由开发人员负责调整提示，也开始有少数企业由业务人员主导提示工程，这也是永丰金控科技长张天豪心中的理想作法。业务人员提出需求后，开发人员先设计初版提示，再让业务人员测试、确认模型生成效果，但最大不同是，业务人员在测试的过程中，自行调整提示，减少和开发人员来回沟通修改提示的过程。业务人员仅需将调整后的自订提示，交由开发人员整合到GAI应用中的模型预设提示，业务人员再来验收最后的GAI应用。

 

 AI应用不能单靠AI专家，永丰要让业务员 

 成为GAI开发主角 

提示工程的特性，不仅冲击既有AI开发流程，更扭转了开发人员和业务人员在GAI专案的角色。

在GAI专案中，开发人员无法单靠自己的技术能力完成，得借助业务人员的领域知识，来调整提示。过往AI开发流程中，业务人员提出需求后，由开发人员建立、训练和调教模型，最终提供服务。这个合作模式行之有年，业务人员早已习惯。因此，「业务人员很难想像，在GAI开发过程中，自己竟然是主角。」永丰金控科技长张天豪强调。

永丰想要推动的变革是，在AI应用开发中，将业务人员推向更核心的位置。不过，要在集团内推动这个观念，并不容易。GAI爆红后，永丰很快就从集团角度做出应变，从开设GAI课程开始，让业务人员掌握提示工程技巧。

这不是一时兴起的计划，而是来自多年AI发展的经验。过去，永丰发展AI时，就十分看重业务人员在应用开发时担任的角色。甚至，集团能从零开始，发展出上百个AI专案，关键就在技术单位和业务单位的密切合作。

持续在集团推广重要观念：想打造成功AI应用，得和业务单位密切合作

2020年，永丰金控定调以AI作为集团数位转型核心。当时，张天豪为了在集团推广AI，选择从应用角度切入，以「顾客行销基因」作为第一批业务单位合作专案，透过AI来协助业务单位进行精准行销。通过概念验证，取得业务单位认可后，技术团队顺利将这项实验专案转为正式专案。

如今，顾客行销基因专案提供了上百款商品或服务的推荐指数，协助永丰集团内多个业务单位提升商品行销效益。这是永丰在AI发展历程中的一项关键应用，也是促进永丰集团近一步推广AI的重要专案。

有了几次和业务单位合作的成功案例后，张天豪更有信心在集团推动AI。不过，他并不是向业务单位强调AI技术的优势，而是向业务单位表达一个重要新观念：「打造AI应用不能单靠AI专家。」唯有和业务单位合作，才能产出成功的AI应用或服务。

甚至，张天豪还认为，若比较业务和技术单位对AI应用开发的重要性，「业务单位可能占6或7，我们（技术单位）只有4或3。」

这个观念，后来体现在永丰订定的AI发展策略上。2022年，永丰宣布三大AI策略，要从业务行销、风险决策、流程营运三大场景发展AI应用。永丰不单从技术看AI，因为，张天豪认为，从技术面切入，容易忽略金融业实际需求。

当时，永丰的AI策略，便是以应用为主，透过这三大类场景，让AI逐步落地到集团内每个角落。如今，永丰发展GAI，更强调了业务单位的重要性，甚至，张天豪也将业务人员视为GAI应用开发的主角，以这项策略推进GAI发展。

 相关报导