日前,OpenAI刚结束了一年一度的DevDay活动,但出人意外的,今年度的开发日的盛况不如去年,就连线上即时直播也没有,更没有往年全球开发者熬夜一睹最新GenAI发展的火热。
就连Meta公司今年度的Connect大会中,引人讨论最热烈的话题,竟然不是最多人用的开源Llama模型释出超强新版本,而是最新亮相的AR眼镜Orion产品原型。
难道生成式AI(GenAI)技术热潮退烧了吗?是,也不是。
随著科技巨头不断翻新自家LLM,大家对于GenAI各种崭新能力越来越习以为常,不容易再出现去年那种惊为天人的兴奋感。取而代之的是,今年能让众人感受眼睛一亮的,不是更多创新应用,而是效益更明确,甚至是高性价比的GenAI应用。全球零售龙头Walmart在8月法说会上揭露的GenAI应用,就是一个最好的例子。
拥有4亿款商品的Walmart,借助生成式AI技术辅助人工作业,来完善庞大商品目录的内容,处理超过8.5亿笔资料作业,大大改善了商品目录的数据品质,根据他们自己评估,「没有生成式AI,在相同时间内完成同样作业,需要近100倍人力。」换句话说,在这项任务上,生成式AI带来了100倍人手的生产力。这项数据改善,更影响到Walmart各项业务和营运的提升。这是少数公开,有明确效果的大型企业生成式AI案例,也引起很大的讨论,甚至有资讯主管直言,这是他看到的第一个明确带来很大效益的应用。
考量到成本效益,不只是昂贵的算力成本,还有庞大的资料搜集和处理成本,很多企业不再坚持重头打造LLM,转而先尝试用提示工程,直接用厂商的LLM服务,来开发GenAI应用,希望先打造出最小可行产品(MVP)版本,再逐渐扩充功能,行有余力(或有成效)才进一步投入LLM微调。
也有率先尝试GenAI技术和开发的先行者企业,不只遇到低技术门槛(甚至可说是无技术门槛)的提示工程,带来开发与业务协作的新考验,更考虑到GenAI发展规模化的挑战,必须建立一套可重复利用,容易推广到更多场景、更多业务部门的架构。
1204期封面故事「向金融先行者学GAI创新」,就是希望向三家大型金控学习,玉山金控、永丰金控、国泰金控,借镜他们率先投入生成式AI开发的经验。
这三家金控都是去年就积极开始开发GenAI应用,各自都有不少应用成果,有些用于服务内部员工,或整合到内部系统和流程,也有金控开始用GenAI来提供对外的正式服务。他们都是生成式AI的先行者。
永丰金尝试调整开发和业务两种角色在GenAI开发中的协作关系,甚至要推动业务人员主导提示工程的GenAI开发模式,让GenAI更快也更贴近业务场景的需求。
玉山开始聚焦发展GenAI规模化能力的基础架构,不只将自家的多功能类ChatGPT平台,从封闭架构转为可扩充架构,更容易整合第三方API和自家累积多年的AI元件,还要自行设计共用的GenAI开发框架,来加快更多不同场景应用的开发。
国泰金控则兵分两路,一方面积极鼓励集团内子公司各自发展GenAI,找出更多生成式AI的适用场景,同时练兵。另一方面则开始统一全集团的AI发展蓝图,以原有的大数据生态圈基础,拓展到AI领域的战略布局,甚至在今年9月发表了一套生成式AI技术发展框架,要来拉齐和加速集团各子公司的GenAI发展步调。
他们每一家的GenAI发展过程和策略,各有偏好而略为不同,所瞄准的应用场景和发展规模也有各自的特色。这三家精彩的GenAI经验,提供了不同面向,又能互补的GenAI探索经验,值得大家借镜!