Mistral AI提供的效能数据显示,在MMLU、AGIEval等基准测试中,Ministral 3B与8B模型表现,分别优于Llama 3.2 3B、Gemma 2 2B与Llama 3.1 8B。(图片来源/Mistral AI)
法国AI新创业者Mistral AI本周公布Les Ministraux,让开发商及使用者可在笔电或智慧型手机等边缘装置上执行AI任务。
两款新模型各名为Ministral 3B与Ministral 8B,合称Les Ministraux,是为装置和边缘应用场景开发的state-of-art模型。两者支援128K脉络长度(在vLLM框架上目前为32K),其中Ministral 8B还具有交错滑动视窗(interleaved sliding-window)注意力模式,可支援更快、更省记忆体的推论作业。
该公司强调,二款新模型已在参数100亿以下类别模型中,将知识、常识、函式呼叫及效率能力提升到新境界,可用于多种个人或企业应用,像是装置上翻译、频宽不佳地区的智慧助理、本地端分析或自主机器人。而若结合较大语言模型如Mistral Large,les Ministraux也能扮演多阶段代理式工作流程的函式呼叫中介者角色,经微调后能根据使用者需求,在多种情境中处理输入解析(input parsing)、任务路由或呼叫API,提供低成本及低延迟性的效益。
这家新创业者也比较了和市场上参数量相仿的知名模型的比较,显示在知识与常识、程式撰写、数学解题、以及多语能力,Ministral 3B超越Meta Llama 3.2 3B及Google Gemma 2 2B,Ministral 8B则大部份超过Meta Llama 3.1 8B以及自家的Mistral 7B,只在程式撰写任务上小输Llama 3.1 8B。
Mistral AI已透过Hugging Face公开Ministral-8B-Instruct-2410供研究用途,支援中文等10种语言。使用者必须输入基本联络资讯换取授权。二款模型不久后将提供给云端合作伙伴。
由Mistral AI的la Platforme平台存取模型的费用方面,Ministral 8B为输入/输出每百万token 0.1美元,Ministral 3B为输入/输出每百万token 0.04美元。Ministral 8B提供商用及研究授权,较小的Ministral 3B只提供商用授权。若企业开发商想自行部署可联络Mistral AI,业者会协助为特定应用场景无损缩减模型。