Google Cloud
大语言模型最大问题之一是幻觉，而解决AI幻觉的方法之一是grounding。Google上周宣布Cloud AI平台Vertex AI新增包括以Google搜寻、第三方资料、混合搜寻的grounding功能，以减少AI幻觉。
Google Cloud Vertex AI 4月发表Agent Builder时，包含撷取增强生成（retrieval augmented generation，RAG）可以Google搜寻为Gemini输出结果grounding的能力，现在又再新增数项grounding功能供用户选择，包括以Google搜寻grounding的能力新增动态撷取（dynamic retrieval）、以高传真模式grounding、以第三方资料集grounding，以及扩大向量搜寻（vector search），实现关键字和向量混合搜寻功能。
首先，以Google搜寻为Gemini模型grounding时，Gemini会进行Google搜寻，利用相关搜寻结果，如事实来生成输出，借此达成grounding。Grounding是指提供LLM真实世界的例子或相关资料，使之与模型的抽象知识整合，达到贴近真实、减少幻觉的目的，进而提升LLM产出结果的品质。
Google说，以这方法减少幻觉最大优点是简单，但问题是使用Google搜寻grounding会增加运算成本，再者Gemini训练够扎实，不需每次查询都grounding。因此，第二项方法中，Google将为Vertex AI加入动态撷取，让Gemini动态选择是否要动用Google搜寻，也可只使用模型既有知识，借此平衡成本效益和回应品质。这功能很快会上线。
RAG-based代理程式生成结果是整合模型内在知识和企业资料提供的情境（context），这在大多数应用场景是可行的，但有严格法规的产业，如金融服务业、健康和保险业却要求模型根据给定的情境来生成回应。为此，在第三项功能中，Google Cloud已开始实验Grounded Generation API的高传真模式（high-fidelity mode）grounding。这功能使用经微调的Gemini 1.5 Flash模型，支援重要企业应用场景，像是为多篇文件摘录重点或对一组财务资料撷取资料。减少资料幻觉，启用高传真模式时，答案中的句子都会附有来源，提供资料可信度，此外也会提供grounding的信心分数。
第三，从下一季开始，Vertex AI将提供以专门领域第三方资料grounding的功能。这可让企业为生成式AI代理程式整合外部资料，以推升生成结果的真实性。Google Cloud正在和权威的资料供应商，像是评级公司穆迪（Moody’s）、MSCI（摩根士丹利资本编制的股价指数）、企业资料来源Zoominfo、Thomson Reuters等合作，将其资料整合到本项服务中。
最后，针对具有内嵌（embedding）的应用场景，像是推荐系统、广告发送与RAG语义搜寻等，Vertex AI扩充向量搜寻（vector search）以支援混合搜寻（hybrid search）。内嵌是指将词语句子、图片等复杂资料转化为固定维度的数值向量的技术，以捕捉语义关系并用于自然语言处理任务。
透过支援混合搜寻，Vertex AI可结合向量搜寻及关键字搜寻技巧，以提供相关及精准回应。现在该功能已进入公测。此外，Google也补充，Vertex AI最新的文字内嵌模型（text-embedding-004及text-multilingual-embedding-002）生成品质更超过前几版。