重点新闻(0329～0405)
生成式AI Google 效能
生成模型越大未必越好，Google揭露新研究发现
Google联手约翰霍普金斯大学，针对图像生成模型做了项扩展性和效率的研究，并发现模型并非越大越好。进一步来说，团队锁定潜在扩散模型（LDM）的大小和采样效率，其中，LDM是图像生成的常用模型，擅长根据文字描述，生成高品质图像。
在研究中，团队训练了12个文字转图像的LDM，这些模型大小不一，从3,900万到50亿个参数不等。接著，团队用各种任务来评估模型表现，包括文字生成图像、提高解析度、主题驱动的合成等。他们发现，在给定的有限运算资源下，小模型的表现比大模型要好，能产生更高品质的图像。而且，小模型的采样效率在各种扩散采样器中都是一样的，就算在蒸馏模型中也是。换句话说，小模型的优势，不限于特定的取样技术或模型压缩方法。
不过，研究也发现，当运算资源没特别限制时，大模型依然擅长生成颗粒度更细致的细节。意思是，小模型虽然可能更有效率，但在某些情况下，仍需要大模型。团队认为，该研究影响深远，因为了解LDM扩展性、模型大小和效能的状态后，开发者可在效率和品之间取得平衡，打造所需的AI模型。
文字嵌入 Google Gecko
Google发表强大的文字嵌入模型Gecko
日前，Google团队发表一款文字嵌入模型Gecko，可将大型语言模型（LLM）提取到检索器中，来实现强大的检索效能。进一步来说，文字嵌入模型目的是将自然语言转换为密集向量，将语义相似的文字放在距离相近的嵌入空间，就像是电脑的翻译机，将文字转为电脑可理解的数字。有了文字嵌入，电脑就能用来执行各种下游任务，如文件检索、分类等。
而Gecko是一款通用的文字嵌入模型，有别于以往只为单个下游任务建立各自的嵌入模型，Gecko由LLM加持，单一个模型就能支援多种下游任务。Gecko的运作方式可分为2步骤，首先是用LLM生成一组组多样的资料，再来是精炼这些资料品质，也就是为每个查询，用检索方式找出一系列的候选文章段落，并用同一个LLM，来对文章段落的正负值重新贴标。
也就是说，在一个大型未标注段落的语料库中，团队使用少样本提示，让LLM为每个段落生成相关的任务和查询。接著，他们将预训练嵌入模型，嵌入一连串的任务和查询，来获得最相近的段落，并用LLM对段落重新排序，同时根据LLM评分来得出正负向的段落。这种方法，让Gecko实现强大的检索表现，不过该模型尚未开源。另一方面，Workers AI也发布了10个非测试版的计价器，来提供使用者更划算的用法。与之类似的还有新版仪表板，可显示跨模型的使用状况分析，包括神经元计算，可帮助使用者预测价格。Cloudflare也更新了AI试炼场，可让使用者快速测试和比较不同的模型，并设定提示和参数。 天气 Google 生成式AI
Google打造生成式AI天气预报模型
最近，Google发表最新天气预报研究，采用机率扩散模型生成式AI，开发出SEEDS天气预报模型，可有效、大规模产生天气预报系集，成本还远低于传统物理预报模型。机率扩散模型是一种机器学习生成式AI技术，实作上可分为2步骤，一是添加杂讯，从原始资料逐步增加随机杂讯，直到资料完全变成随机杂讯。这个过程称为前向扩散，就像是在一张清晰的图片逐渐添加杂讯点，直到图片上满是随机杂讯。再来是移除杂讯，由机率扩散模型反向扩散，将充满杂讯的资料移除杂讯，最终恢复接近原始资料的新资料。
机率扩散模型中的机率性，就是在去杂讯的过程，每一步都考虑多种去杂讯的可能路径，这种作法，能生成多种且高品质的资料样本。这个能力，在天气预报的应用中，能生成一系列可能的天气状况，也就是系集预报，来反应未来天气的不确定性和多样性。最重要的是，与需要超级电脑耗费数小时运算的传统天气预测相比，SEEDS模型的计算成本几乎可忽略，在Google云端TPUv3-32执行个体上，每3分钟就能产生256个系集成员。 xAI Grok-1.5 X
xAI发表Grok-1.5
继于3月17日开源大型语言模型Grok-1后，xAI再于3月28日发表Grok-1.5，新版本将支援16倍的脉络长度，预计近期释出，并成为X上Grok聊天机器人的底层模型。xAI说明，Grok-1.5是在基于JAX、Rust和Kubernetes的客制化分散式训练框架上建置，能让团队轻松测试原型，同时大规模训练新架。这款客制化的训练协调器，可自动侦测有问题的节点，并从训练任务中剔除。为降低故障时的停机事件，团队也优化了检查点、资料载入和训练任务的重新启动机制。
与第一代相比，Grok-1.5有不少进展，在许多基准测试上直追或超越Claude 3 Sonnet和Claude 2，比如Grok-1.5在MMLU（大规模多工语言理解）基准测试的成绩为81.3%，超越Claude 2的75%与Claude 3 Sonnet的79%。此外，Grok-1.5也支援128K个Token的脉络，记忆能力为第一版的16倍，更擅长处理长文件。图片来源／Google、国科会、Opera
AI近期新闻
1. 微软研究团队发表AllHands，一种LLM大规模回馈分析框架
2. OpenAI将在东京开设新分部
资料来源：iThome整理，2024年4月