在公云巨头的GAI技术竞赛中，IBM今年5月终于发表了自家开源LLM模型Granite，到了十月时更在年度产品大会上推出3.0新版模型。台湾IBM最近也开始在台介绍Granite新版模型，要抢攻企业GAI落地部署的需求，更揭露了在台发展GAI的两大策略。
台湾IBM技术长庄士逸表示，刚发表的Granite 3.0新版是一款轻量级的基础模型，包括了1B、2B、3B和8B参数量的版本，采用可商用的Apache 2.0开源授权，可以部署到企业内部环境，也能在硬体资源较低的环境中执行，来瞄准企业落地部署的需求。3.0版可以支援12种语言，包括中文，台湾IBM内部也正在进行繁体中文的测试。
Granite 3.0包括了一系列的模型，包括了大型语言模型，还有强化输入和回应内容过滤的安全护栏模型，另外还有推测解码模型、程式码开发模型、时间序列模型和地理空间模型，目前先释出的是大型语言模型系列和安全护栏系列模型，陆续再推出其余模型。企业可到Hugging Face等网站自行下载，也能在IBM的AI开发平台Watsonx或Google Vertex AI等平台上选用。
除了多语言支援，3.0版也开始提供企业打造代理人需要的工具调用能力，目前可支援Function Call功能，在LLM模型呼叫外部的第三方函式库。后续将释出3.1版，预计可支援到128Ｋ上下文长度的资料输入输出，还会强化程式码生成的能力，以及代理人应用的逻辑推理功能。IBM在Watsonx平台上提供了调度工具，可用来组合LLM模型和第三方元件，打造AI代理人应用。
台湾IBM透露，明年要发布的Granite 3.2版将是一款多模态LLM，将释出Granite-3.0-vision-instruct模型，可理解图像，后续还会推出支援声音的模型版本。
庄士逸表示，IBM已经用Granite模型打造多款内部的AI代理人，包括了后勤HR、后勤IT HelpDesk、后勤IT系统申请、后勤ERP、员工绩效管理、销售、业务绩效、合作伙伴管理等名为Ask系列的AI代理人助手。例如他就曾收到员工绩效管理AI助理的通知，提醒他有名员工表现优异，GAI汇整了市场上同类职务的薪水水准供他参考，询问庄士逸是否要帮这名员工加薪，若他按下同意键，就会自动完成相关调薪申请，自动实施到这名员工下个月的薪水汇款。这是由GAI汇整外部市场资讯，结合内部流程自动化工具而成的AI代理人应用。
IBM在年度大会上也公布了最新的产品战略架构，底层是各种基础架构和混合云平台产品，包括了OpenShift、企业级Linux、Ansible，再上一层则是Data与AI层，以Watsonx平台服务，还有多款AI助理服务和安全护栏服务。庄士逸表示，新版战略架构有一项改变是，在资料与AI层之上，IBM将自动化工具产品独立成一个平台层，可用来和AI工具整合。最上面一层则是各项顾问服务与合伙伙伴。
台湾IBM的客户工程团队从2023年至今，完成了数百个GAI客户PoC案例，已有高科技制造和金融的GAI应用实例，例如有金融业者用GAI来搜寻内部知识文件，或是用来整理语音会议的文字记录。也有高科技业者用RAG作法来检核ESG报告的内容，是否符合不同ESG标准的各项要求。
庄士逸表示，台湾IBM的GAI发展策略，主要分为两大作法，一是针对有意采用GAI但需求还不明确的企业，IBM将扮演顾问来协助，找来有大型企业客户经验的资料科学家，协助这些企业评估和试验LLM模型的应用。另一项作法则瞄准需求明确的企业，提供设计思考工作坊，也以4～8周时间打造出目标应用场景的PoC验证，或是最小可行产品（MVP），供企业评估是否正式导入。
他观察，过去一年，台湾企业大多处于试验、寻找使用情境或是验证RAG作法，接下来会开始往IT自动化、程式码模型开发、智慧助理等方向发展。不过，目前采落地部署的案例多以LLaMA模型为主，台湾IBM未来也计划引荐自家Granite模型给台湾企业。