MUFG银行的AI团队先利用人工设计的提示词来萃取关键数据，成功提升关键数据萃取的能力后，团队再进一步人工介入审查生成结果，并手动调整生成内容。接著，团队开始发展出一套持续改进提示词的流程，称为GenAIOps流程，透过搜集客户的正反面回馈，AI团队成员会深入了解 AI 输出与期望成果之间的差距。再来，团队根据分析结果手动优化提示词和 RAG 工程，以缩短 AI 生成内容与期望成果的差距。最终目标则是达到以AI自动升级提示词和RAG工程。(图片来源:AWS)
近日，日本三菱日联银行（MUFG银行）在一场活动上揭露内部如何运用生成式AI提升向企业客户销售产品的效率，并且，透过一步步加强应用功能，MUFG银行的AI/ML团队慢慢发展出一套GenAIOps流程。
MUFG银行AI/ML团队负责人堀金哲雄表示，内部从今年开始发展一个专门提供给全球市场业务部门使用的GenAI平台，要用生成式AI，加速该业务部门人员整理和研究企业客户资料，协助生成企业报表资料，或趋势分析草稿等任务。
MUFG银行全球市场业务，主要协助企业客户分析金融风险，提供一套顾问服务。这个业务团队超过2,000名人，服务范围涵盖全球100万名企业客户。堀金哲雄解释，这项业务的销售人员为了协助客户制订有效的风险控管措施，往往需要耗费大量时间分析数百、甚至上千页文件，才能深入了解不同客户应对的金融市场风险，「可能要花上数小时，甚至数十天的时间。」堀金哲雄也提到，这是一个高度依赖技能的作业流程，「需要多年的经验才能制订出合适的解决方案。」
为了提高业务员阅读速度，MUFG银行AI团队第一步，先用GenAI快速从PDF和HTML档案萃取出关键资讯。不过，堀金哲雄表示，直接将原始档案汇入LLM会增加不少处理成本，「特别是HTML档案中包含许多重要性不高的标签资讯。」团队开发了一套数据处理管道，能在档案汇入 LLM 前自动移除低关联性的标签，成功提高萃取关键数据的能力。
第二步，是要协助销售人员能共享彼此的想法或逻辑，并生成趋势分析草稿。在这个步骤中，AI团队和业务销售团队合作撰写提示词，不仅如此，MUFG银行的AI团队也打造了一个Chatbot，让销售人员随时都能测试提示词。「业务人员和开发者之间密切合作非常重要，GenAI不仅仅是技术人员的工具，它应该为每个人服务。」堀金哲雄强调，由于销售人员非常繁忙，因此提供一个易用性高的工具，对于加速业务和技术人员协作提示工程十分重要。
完成前两项步骤后，这项应用已经能协助销售人员统整资讯和生成草稿。但是，MUFG银行的AI团队仍持续提升这项应用的能力。
堀金哲雄表示，为了持续改进提示词，MUFG银行的AI团队主要搜集两种数据，一种是销售人员和AI间的对话纪录，另一种是实际提供给企业客户的简报，以及来自客户的回馈。透过整合这些资料，MUFG银行的AI团队持续比对AI生成结果和实际展示给客户的结果，再根据观察的结果来改进提示词。这套反复改进提示词的过程，也被堀金哲雄称为GenAIOps流程。
堀金哲雄表示，目前团队仍是采用人工的方式检验 AI 生成内容与期望成果的差距，「但我们的目标是尽可能实现自动化，以协助销售人员减少更多时间。」目前，MUFG银行的AI团队为全球资本市场业务开发的GenAI应用，能在10到20秒内回应销售人员的提问，同时提供单一企业的趋势分析和报表资讯。相比过往销售人员需要数小时到数天准备单一企业客户的资料，用来撰写趋势分析文件，如今，销售人员平均只需要1至2分钟，就能单一企业客户的趋势分析文件草稿。
三菱日联银行为全球资本市场业务销售人员开发的GenAI平台名为Marketing DX，使用者只需选择公司名称、分析类型以及一些前瞻性数据，平台左侧就会显示 AI 的输出结果。使用者也可输入问题，AI能在 10 至 20 秒内给出答案。(图片来源:AWS)