AI趋势周报第264期：从虚拟人到LLM社交智力测试，Meta开源9大研究成果

重点新闻（1213～1219）

 Meta     电脑视觉     LLM  

从虚拟人到LLM社交智力测试，Meta开源9大研究成果

最近，Meta AI研究院FAIR开源今年度9大重点研究成果，从虚拟人型AI代理的动作控制、AI影片生成浮水印、多模态生成框架，再到LLM社交能力基准测试、大型概念模型（LCM）和另类Transformer视觉模型等，都包括在内。FAIR希望开源这些成果，来推动AI技术进步。开源重点如下：

Meta Motivo虚拟人行为基础模型，能控制虚拟人型代理的动作，来完成复杂任务。该模型以非监督增强式学习方法和未标记的大量资料训练而成，能学习人类行为，但也保有零样本推论能力。团队希望该技术能加速元宇宙全身化代理的开发、提高游戏NPC拟真度，或是加速动画角色的普及。
Meta Video Seal影片浮水印生成模型，可在影片中嵌入肉眼看不见的浮水印，就算影片经过模糊化、剪辑或压缩等编辑，依然能辨识，能用来追溯影片来源。
Flow Matching生成框架指南和程式码，可生成多种模态资料，如图像、影片、音讯、音乐和3D结构（如蛋白质）等。Meta已用这个框架开发内部多款生成应用，如Movie Gen、Meta Audiobox等，业界也用来打造不同模型，如Stable-Diffusion-3、Flux等，取代了传统扩散模型。
Meta Explore Theory-of-Mind对抗数据生成框架，能以心智理论（ToM）来强化机器智慧，更能理解和推测人类想法。这个框架可生成资料集，来改善LLM的人际互动表现，还能收集互动资料集，或是作为评估LLM社交智力（Social intelligence）的基准测试。
Large Concept Model（LCM）大型语言概念模型，是一种新型的模型训练方法，不像传统语言模型专门预测下一个字符，而是预测下一个概念或高阶想法，并透过多模态和多语言嵌入空间来表示。这个方法让模型在生成任务中，媲美甚至超越目前最先进的LLM表现。
Dynamic Byte Latent Transformer是一种Transformer模型，因为不需要任何分词（Tokenize）预处理，克服了传统文本分词带来的限制，提高模型在长序列训练和推论的效率。
Memory Layers at Scale扩展记忆层方法，能提高LLM对复杂概念和语言细节的理解。这个方法还能在不增加运算量的情况下，为模型增加额外的参数，进而提高记忆效率。
Image Diversity Modeling负责任的图像生成模型，Meta特别与外部专家合作，请他们用这款模型来进行负责任研究，在模型保持高品质产出的同时，也兼顾安全。
CLIP 1.2视觉-语言编码器，可更好地学习、捕捉图像与语义间的细微关联。Meta这次开源了CLIP 1.2的演算法、训练方法和基础模型。