Meta AI团队推出一款检索增强生成（RAG）技术测试基准CRAG，涵盖5大领域、8种问题类型和4,000多组问答，可用来测试RAG即时网路搜寻和API串接搜寻的能力。
Meta AI
重点新闻(0531～0606)
LLM RAG Meta
如何知道RAG能耐？Meta推CRAG测试基准
自大型语言模型（LLM）应用兴起以来，检索增强生成（RAG）一直是降低LLM产生幻觉和胡言乱语的主流方法。但如何衡量RAG效力，又是另一门课题。最近，Meta AI团队就推出一款名为CRAG的测试基准，可用来测试RAG系统的表现，也就是LLM结合外部知识进行问答的能力。
CRAG包含4,409个问答组，测试范围横跨5大领域，如金融、运动、音乐、电影和百科，另外包含8种问题类型，像是条件式简单问题、比较型问题、加总型问题等。CRAG可测试2种RAG能力，包括网路搜寻和API串接形式，让使用者了解自家系统在动态和静态事实下的检索、合成与生成能力。
Meta团队也用CRAG来评估LLM，发现最先进的语言模型准确率只有34%，透过RAG加持可提升到44%。而且，即便是业界先进的系统，在处理动态和复杂查询时，也只能回答63%的问题且不产生幻觉。Meta希望透过CRAG，来推动问答系统的创新和进步，克服语言模型的幻觉和知识差距。与此同时，CRAG也是Meta今年3月展开的 AI机房 日月光 水冷
日月光年底要启用首座水冷AI机房
日月光半导体日前在Computex大会中揭露，将于今年底启用其位于高雄的首座水冷散热资料中心。该机房不只是全新AI运算设备基地，更是一座节能标竿机房，目标PUE（能源使用效率）值低于1.2。这个机房是要满足每年增长1.2倍的AI运算需求，来因应未来两年AI应用和大型语言模型（LLM）快速发展趋势。
这座AI机房采用Supermicro的水冷式散热技术，并由中华系统整合布建。机房内的伺服器将搭载最新水冷机制，通过冷水直接带走主机板热能，取代传统气冷的冷热通道方式。这种设计的机房能耗，比气冷方式减少了20%以上，有助于达成日月光ESG永续发展目标。该AI机房也将配置多台AI伺服器机柜系统，据Supermicro提供的硬体规格，每台AI伺服器主机内搭载2个32核Intel CPU与8个Nvidia H100 GPU。日月光计划用这座AI机房加速智慧制造，并在产品生产、工程研发及营运上开发新的AI应用。 Nvidia AI晶片 RTX
Nvidia揭AI晶片计划，另推RTX新技术和Chatbot专案
Nvidia创办人暨执行长黄仁勋日前在台大演讲中，透露Nvidia AI晶片新计划，包括加速AI晶片的更新周期、每年推出一款新晶片，尤其是明年将推出的Blackwell Ultra和后年的Rubin，来因应他强调的新工业革命AI浪潮。在日前的Computex大会上，Nvidia发表也最新RTX技术，包括光线追踪、AI视觉运算、光栅化及模拟等，另推出用来实现相关技术的Nvidia RTX AI Toolkit，集结各种支援Windows平台的工具和SDK，供开发者客制化AI模型、跨云端及RTX个人电脑部署。
此外，Nvidia也新推聊天机器人Project G-Assist，这款RTX技术加持的AI助理可用于游戏，能接收玩家的文字、语音和游戏视窗快照，并回答游戏中遇到的问题，如任务指引、物品建议和怪物资讯等。同时，Nvidia也与微软合作，要助开发者将生成式AI功能整合到Windows原生网页程式，也能使用API存取GPU加速的小型语言模型（SLM），来更轻松部署AI应用。这款API将在今年以开发者预览版释出。 音效 Stability AI Stable Audio Open
Stability AI释出文字生成音效模型Stable Audio Open
Stability AI近日释出文字生成声音模型的开源版本Stable Audio Open，使用者输入文字描述后，就能生成长达47秒的音档。这个模型是Stability AI以48万多个音档训练而成，其中超过9成来自Freesound，另有少数来自「免费音乐档案」（FMA），所有音讯都取得免费的共享许可，并使用预训练T5文字模型来处理、生成文本。
Stability AI表示，Stable Audio Open很适合用来建立鼓点、音乐即兴片段、环境音效、模拟录音或其它与音乐和声音有关的样本。开源版本的好处是，使用者可用自己的声音来调整模型，例如鼓手可加入自己的录音样本，来生成新的节奏。 Google 异常侦测 半监督
资料不足也能有效侦测，Google开源半监督式框架SPADE
Google开源一款SPADE半监督式异常侦测框架，能克服其他半监督异常侦测方法，只需少量已标记和大量未标记资料，就能高效率侦测异常。异常侦测应用范围很广，涵盖API安全、金融诈欺、制造缺陷等领域，而Google开发的SPADE使用一组单类分类器（OCCs），作为虚拟标签器和监督分类器，特别适合用来处理少量已标记资料和大量为标记样本的资料集。
这是因为，要建立大规模标记资料集不仅耗时且成本昂贵，SPADE利用半监督学习方法，可降低这个成本。在运作方式上，SPADE先使用多个单类分类器来学习资料中的正常样本特征，接著，这些分类器分别对未标记的资料进行预测，生成虚拟标签，猜测异常与正常的资料，但只有当所有分类器一致认为特定样本为异常时，才会真正将其标记为异常。再来用虚拟标签和原始标记资料，来训练监督异常模型，完成后，模型就能用来侦测新资料中的异常。