Hugging Face
IBM周一公布其大型语言模型（large language model，LLM）Granite 3.0版多个版本及工具，涵括护栏能力、边缘运算及高效能型，后者效能超越Google及Alibaba等公司10倍大的竞争模型。
这是IBM继5月Granite系列首次亮相后，Granite系列最新成员。本次释出的Granite 3.0有11个，主要有8B与2B版本，分成4种用途类型。第一是密集、通用LLM，Granite 3.0 8B及Granite 3.0 2B各有Instruct及Base版本，共4模型。第二有4模型，是输出－输入护栏（guardrail）模型，Granite 3.0 Guardian 8B与Granite 3.0 Guardian 2B，Instruct及Base版本各一，可提供护栏能力，确保回应内容安全和可信赖。
第三类有2个，为现最小延迟性的专家混合（mixture of expert，MoE）模型，Granite 3.0-3B- A800M-instruct及Granite 3.0-3B- A400M-instruct，适合在CPU为底层的环境及端点运算执行。第四类是1个新的时间序列（Time Series）模型Granite-3.0-8B-Instruct-Accelerator，为提升推论速度和效率的推测解码器，适合零／少量样本预测，效能超过10倍大的模型。
Granite 3.0版是以来自12种自然语言及116种程式语言文本，超过12兆字词，运用二阶段训练方法，并结合数千项以提升资料品质、资料选择及训练参数训练而成。预计到年底Granite 3.0 8B及2B模型可支援128K脉络长度及多模态文件理解能力。
IBM指出，许多企业资料却仍未善用，结合小型Granite及企业资料有助于发挥企业资料的价值，Granite模型结合了IBM和RedHat 5月开源的一致化技术InstructLab，可以更少的成本获致大型模型的效能，估计成本可省3倍到23倍。
Granite 3.0 8B和2B LLM可供企业执行大负载任务的模型，以高效能支援撷取增强生成（retrieval augmented generation，RAG）、分类、重点摘要、实体撷取等任务。这些模型允许以企业资料微调，整合到各种企业环境或工作流程中。
IBM同时也公开Granite为底层的Code Assistant（程式撰写助理）提供给一般程式开发用途，这项工具可在watsonx.ai平台用以开发和部署AI应用及代理程式。
IBM已将整个Granite 3.0模型系列都以Apache 2.0授权在Hugging Face供下载。其中Granite Guardian 3.0 8B和2B已上架IBM watsonx平台供商业用途。部份Granite 3.0模型可作为Nvidia NIM微服务推出，或在Google Cloud Vertex AI Model Garden上架。并有一些Granite 3.0模型透过Ollama和Replicate平台提供给开发人员。