年底，科技大厂纷纷揭露生成式AI的新战略，微软在11月Ignite大会上揭露两大Agentic AI新战略，聚焦Copilot生态圈和多代理型AI工具链，12月初紧接著登场的AWS年度大会re:Invent，从运算、储存、资料库到AI推论产品线的种种升级，也都瞄准了生成式AI的发展需求。
OpenAI同样展开了为期12周的12天产品发表期，每周一天直播，分阶段公布多项模型技术的进展，尤其是年初让众人大吃一惊的影音生成模型Sora终于正式推出，ChatGPT则新增了专案管理功能、ChatGPT的Canvas写作和程式开发工具开始支援Python等，而擅长推理的o1模型开始释出API，甚至提供了Java和Go的SDK。截至这篇文章完成之际，OpenAI的12天发表，才进行到第9天，但已经推出了许多开发者期待很久的功能，更容易用于开发和管理提示工程应用，或是将生成式AI整合到自家AP中。
相较于2023年，科技巨头展开激烈的LLM模型技术竞赛，到了2024年，企业的目光转向如何打造更有ROI效益的GAI应用，开始尝试、寻找各式各样合适的应用场景。
回头看2024这一年，相较于LLM模型技术的爆发式进步，相关软体开发工具相对步调较慢，甚至没有像Sora模型或o1模型般的突破式进展。GAI辅助软体开发的相关工具，的确明显进步了不少，像是GitHub Copilot之类的生成的程式码品质越来越好，也开始出现了协助开发测试、除错的GAI助手，甚至出现GAI应用专用的开发工具，不过，主要用于开发独立的GAI应用，或是生成式AI的代理程式，甚至专门用于几种特定用途的GAI代理助手的客制化。
这些GAI开发工具的改善，只涵盖到了软体开发，或者说只占了企业打造一支应用系统生命周期中的一部分，随著越来越多企业公开了自家GAI实作经验，慢慢浮现更多GAI开发工具和方法论的不足。
最常见的挑战是，用提示工程来开发GAI应用时，IT部门不见得能够有效检核模型的生成结果，每一次调整，都需要业务部门来协助评估，导致IT与业务必须多次来回合作，我常提到的经典案例来自永丰金控的经验，开发人员撰写出一版提示后，得由业务人员协助测试不同情境，检核模型回应内容来提供修改建议，再回过头交给开发人员修改提示，然后同样过程再来一次，如此反复十多趟，才能完成这一个专案模型提示指令的调整。业务人员的参与度，成了AI应用开发效率的关键。
科技大厂也的确观察到，许多企业开发GAI应用的挑战，甚至，开始将GAI视为应用系统和开发的重要元素。微软执行长Satya Nadella在年度大会上强调：「每一只App正逐渐变成AI化的App，」未来每一只应用，都将是AI应用，但现在打造AI应用的技术架构，才刚起步，有待发展，「开发工具还需要增加更多新功能。」这正是微软的新战略之一，全力发展通用型GAI技术基础。
AWS同样看好未来庞大的GAI应用需求，AWS新任执行长Matt Garman在年度大会更直言：「生成式AI（GAI）将成为每个应用程式的核心！」，如此看重GAI角色的愿景，也影响了AWS所有的产品策略。
AWS不只是大力强化GAI开发相关工具链，GAI开发工具Bedrock强化提示管理和多代理协作能力，传统AI开发平台SageMaker更是大改版，变成了整合资料处理、分析应用和AI工具的大平台。
AWS原有的三大云端服务产品线，运算产品线、储存产品线、资料库产品线的升级，今年都聚焦了GAI庞大需求来升级。AI开发工具的竞争，从GAI专用工具，开始扩大到传统的软体开发工具，甚至开始进入IT基础架构技术和工具，这将考验企业原有的软体开发，甚至是基础架构维运模式。
更多相关报导