台湾大资讯长蔡祈岩认为，要长远发展台湾AI国力，还有更多需努力之处。如足够绿电支援AI运算、更多技术研发补助、更多软体研发人才等。
今年5月，台湾大哥大悄悄揭露了运用大型语言模型（LLM）优化自家智能客服小麦的成果。他们并非采用常见的微调LLM优化方法，而是以嵌入式模型（Embedding model）搭配客服知识库，来让小麦回答更准确、更有人味。后来，他们还将自己的成功经验打包成产品，要提供给有LLM应用需求的企业。
为何不直接建置资料集、微调LLM，让模型成为客服大脑？台湾大资讯长蔡祈岩认为：「现阶段嵌入式模型就够用了。」为什么？
聚焦客服应用，寻找LLM最佳用法
去年底ChatGPT问世，各产业争相拥抱LLM，要来强化自家服务、提高竞争力，台湾大也不例外。「这段时间，我们尝试过许多大大小小的应用，」蔡祈岩指出，台湾大不只有一个团队在摸索，而是「各部门全员动员，」来尝试各种应用案例，特别是客服场景。
他们尝试了多种模型，如台智云的福尔摩沙大模型、微软的AOAI服务，以及Meta开源的Llama 2，要来优化小麦。一开始，他们采取自建资料集、微调LLM的方法，来打造客服大脑，要让客服引擎更聪明、给出正确答案。于是，他们收集了客服知识点、客服文字对话、公司新闻、脸书与LinkedIn等资料，作为微调LLM的语料库。
接著，他们开始清理资料，去除HTML标签和个资等资讯。也因为每种资料清洗方式不同，难以用少数程式逻辑来处理全部资料，特别是人名，因此需要人工介入。他们将原本投入的1至2名人力，增加为4至6人。
资料集整理完后，团队开始用来微调模型。但由于资料集中99.8%的资料来自新闻语料，因此模型产出的回答偏向新闻用语，而且准确度还有进步空间，比如正确回答应为100点数，模型却给出200点数的答案。
经过那次测试，团队发现，LLM不适合直接用作客服大脑，还需要其他配套方法补强。于是，团队改变策略，将目标调整为提高回答正确性，改采嵌入式模型搭配客服知识点资料库，来产出答案给顾客。而LLM则转为幕后辅助角色，用来新添客服知识点内容，而非直接用来处理业务问题。
前后台分工，分别负责准确回答和丰富知识库
进一步来说，这个作法分为前台和后台两套流程，前台流程的目标是要提高客服回答准确性。因此，当顾客向小麦问问题时，提问会经过嵌入式模型，将文字转换为向量空间，来与客服知识点中的例句计算信度，找出最符合的资料。若信度大于等于90%的门槛值，就可将这个知识点的资讯回传给小麦，提供新参考答案给顾客。若信度不足而无回传值，小麦则套用制式答案来回复。
要是信度小于门槛值，就会启动知识点后台接手处理。后台流程的目的是丰富知识库内容，因此，系统会将信度小于门槛值的内容，包含顾客提问和前几名回答，组成新的提示，由LLM根据新提示产出答案，并将这个新答案回馈给知识点维护人员，来更新知识点内容。
这么做可节省客服人员维运知识点平台的时间，而且，知识点的回复内容，也会因此循环越来越完整。这正是蔡祈岩认为，目前嵌入式模型即可解决客服业务问题的原因。
AI 2.0进展快速，不适合砸重金发展LLM
另一方面，随著OpenAI掀起AI 2.0超级大脑的浪潮，蔡祈岩观察，AI 2.0进展迅速，台湾大暂不投入大量成本来发展LLM。他指出，台湾大在AI 2.0已找到许多可立即看到成效的低垂果实，自行发展并非优先选择。再来，LLM是个众神必争领域，企业自行投入的成本效益几乎没有能见度。比如，OpenAI日前提出GPTs，允许使用者根据自身需求，客制化专属的ChatGPT，这就掀翻了许多AI企业的桌子。台湾大集团凭借多样的应用场域和IT人才，只要紧盯技术趋势，就能灵活找出高效益、低风险的发展机会。
「比起耗费大成本重新训练基础模型，GPTs或中小模型等分支说不定就能实现8、9成水准，效益更高。」他认为，这种机制在垂直产业，特别有发展机会。
发展AI国力，可强化人才发展环境
生成式AI不只是企业标配，还成为各国秀AI国力的亮点。台湾已有国科会的TAIDE计划，来打造台版LLM，但蔡祈岩认为，要长远发展台湾AI国力，还有更多需努力之处。
比如，台湾要加速发展再生能源，来支援AI算力所需的绿电，政府也能提供更多企业和新创的技术研发补助计划，来鼓励研发，激发更多AI软体创新。
此外，蔡祈岩点出，高等研发人才，特别是软体人才，更是发展重点。尤其，主流国家疯抢AI人才，台湾政府应提出赋税优惠来留住本地高阶技术人才，加上良好的生活环境，如医疗资源、便利性和包容的文化，来吸引国际人才。「因为，台湾的国际竞争策略一向是高CP值，非常成功，我们不宜孤注一掷在红海，想用世界最高薪资来抢人才。」他认为，台湾反而更适合吸引全球非电脑科学学科毕业、具高潜力的AI生手或IT素人，来台培养专业技能、转职为软体人才，同时在训练过程中，培养对台湾社会和文化的认同，进而成为台湾专属的软体人才。