Hugging Face
重点新闻(0216～0222)
Hugging Face 合成资料 Cosmopedia
Hugging Face开源最大的合成资料集Cosmopedia
Hugging Face最近发布资料集Cosmopedia v0.1，是目前最大的合成资料集，内容全由Mixtral 7b指令模型生成，包含3,000多万个档案。这些内容有教科书文字、部落格文章、故事和WikiHow文章等类型，共250亿个Token。
团队表示，他们希望以生成合成资料的方式，来涵盖RefinedWeb和RedPajama等资料集中的世界知识。Cosmopedia资料集除了有各种类型文章，还显示基本资讯供使用者参考，如提示、合成内容、初始资料来源、标记长度、文字格式（如教科书、部落格文章）和目标受众等。同时，团队也提供较小的子资料集Cosmopedia-100k，来供使用者轻松管理和使用。Hugging Face表示，这次释出的资料集仅0.1版本，他们还有很大的进步空间，盼纳入更多主题，来推进合成资料的研究与应用。说明，Groq用编译器技术来最佳化极简而高效能的架构，避开了复杂性，有别于主流做法。他表示，Groq架构的核心是个单纯支援平行吞吐量的裸机，如同一个专为机器学习设计的ASIC，还能用客制化的编译器来支援不同模型。
目前，Groq支援标准机器学习框架如PyTorch、TensorFlow和ONNX等，但仅用于推论，LPU推论引擎并不支援机器学习训练。Groq欢迎硬体供应商、软体供应商、云端服务供应商或AI加值服务开发商寻求合作，也提供Groq API与Groq Compiler来执行LLM应用。 Gemma Google Gemini
Google开源AI模型Gemma，可在笔电上执行
继日前揭露大型语言模型（LLM）Gemini 1.5版后，Google最近又发布开源模型Gemma两个版本，让开发者在云端、资料中心甚至笔电上就能自建和执行AI模型。进一步来说，Gemma是轻量开源模型，由Google DeepMind和Google其他团队开发。据Google测试，不论在推论、数学、撰写程式上，Gemma 7B都超越Llama 2 7B，而在多项测试上，也超越开源模型Mistral 7B。
此外，Gemma可整合Kaggle、Colab notebook等常见工具，以及Hugging Face、MaxText、Nvidia MeMo和TensorRT-LLM等。为吸引开发者使用Gemma，Google还提供Kaggle notebook、Colab免费方案，以及300美元的Google Cloud点数。同时，为让外部使用者进行负责任AI评估，Google最近也发布负责任生成式AI工具包，包括能以简单范例建立安全分类器的工具、模型除错及负责任模型开发与部署指引。 LOMO LLM 记忆体
复旦大学开源优化器LOMO，大幅降低LLM训练的记忆体资源
最近，上海复旦大学开源一款大型语言模型（LLM）优化器LOMO，能降低训练LLM的记忆体用量，微调所有参数。进一步来说，训练LLM需要大量GPU资源，因此降低LLMs训练的门槛，一直是AI社群的努力方向。目前的主流方法是参数高效微调（PEFT），即只微调模型部分参数，来降低训练成本。
而复旦大学团队决定从另个角度解决问题，即使用有限资源来对LLM的全部参数微调。他们开发一套低记忆体优化器（LOMO），融合了梯度计算和参数更新，来降低记忆体使用量。
经团队测试，联合使用LOMO和现有的记忆体节省技术，与DeepSpeed标准方法相比，能将记忆体使用量降低为10.8％。他们点出，这个做法能在单一配备8个RTX 3090的电脑上，每个显存为24GB的情况下，对650亿参数（即65B）模型的全部参数进行微调。 PDF Adobe AI助理
Adobe PDF软体加入AI助理
Adobe PDF读取与编辑软体Reader、Acrobat最近加入AI助理功能，使用者可更容易读取、理解和分享PDF文件或简报。Adobe最近也对这个AI助理展开公测。这个AI助理整合了Reader和Acrobat的工作流程，可为使用者产生长篇文件的重点摘要、提供洞察并回答用户提问。AI助理能自动整理出重点，还能草拟电子邮件、设计报告或简报的排版、语调、浓缩文件长度，更方便分享给其他人。使用者按下「复制」键即可贴到Email或简报中。不只如此，AI助理还能进行智慧引述，使用者也能点入验证AI助理的答案来源，重点摘要也会提供连结，方便在文件中找到原始段落。