苹果
继12月开始，苹果陆续公布其AI开发及研发成果。苹果上周再公布多模态大型语言模型（multimodal large language model，MLLM）Ferret及相关标竿测试工具与资料集。
多模态意谓Ferret能接受文字、声音、影像或数据的输入。根据苹果10月公布Ferret的研究论文说明，Ferret能理解任何形状或任何图片颗粒（granularity），且能准确定位（ground）开放字汇的描述。要将引用（refer）及定位能力整合到LLM中，Ferret采用新式的混合区域表征（hybrid region representation）技术，可整合个别方位和连续性的特征，以表示图片中的某一区域。为提取出区域中的连续特征，苹果研究人员提出一种空间感知的视觉采样器，它能处理不同形状多种稀疏性。这使得Ferret可以接受多样化区域输入，像是点、bounding boxes、自由形式的形状。为提升Ferret的能力，苹果团队使用了GRIT资料集（Ground-and-Refer Instruction-Tuning），后者为是一个广大的refer-and-ground指令微调资料集，包含110万个样本，内有丰富的阶层化空间知识，以及9.5万个负样本，以便提升模型的判断力。
最后苹果得到的模型Ferret-13B，和Kosmos-2、GPT4-ROI、LLaVA、Shikra等MLLM比较，在传统引用及定位任务具有优异效能，此外，在区域为基础、需要本地化的多模态对话、细节描述，以及复杂推理等任务，都优于其他MLLM。在视觉化比较任务，苹果说它的模型展现优异的空间理解及常识推理能力。此外，苹果宣称其物件幻觉也较Shikra、InstructBLIP、MiniGPT4、LLaVA、MM-GPT及 mPLUG-Owl等知名MLLM少很多。
苹果公布了Ferret7B、130B二模型的程式码、GRIT资料集、标竿测试工具Ferret-Bench，上周也公布了Ferret 70B及130B检核点（checkpoint）。
这是苹果公布最新AI研发成果。12月初苹果公布Apple Silicon平台专用AI框架MLX、以及能在装置端执行LLM的方法，后者能在边缘装置执行DRAM两倍大的LLM，可节省执行LLM所需的运算资源，也更能确保隐私。