图片来源:
GitHub
由马斯克（Elon Musk）去年成立的AI新创xAI，本周开源其聊天机器人Grok所使用的底层大型语言模型（LLM）Grok-1。
xAI是在去年10月利用基于JAX函式库与Rust程式语言的客制化训练堆叠，从头开始训练Grok-1，这是一个使用大量文字资料进行训练，且没有针对任何特定任务进行微调的基础模型，此外，Grok-1也是个具备3,140亿个参数的混合专家模型，任何Token的运算只使用25%的权重（参数）。
Grok-1在GSM8k、MMLU、HumanEval与MATH等基准评测上虽然尚未超越OpenAI的GPT-4，却都胜过GPT-3.5。
不过，xAI也提醒企图使用Grok-1的研究人员，由于此一模型的规模庞大，必须要配备足够GPU的机器才能以样本程式来测试该模型。Grok-1适用于Apache 2.0 授权，意味著它允许商业使用及修改，但无法注册商标，也必须复制原始许可及版权说明，并陈述所作的变更。
xAI决定开源Grok-1可能是在向OpenAI示威，马斯克日前控告OpenAI与Sam Altman，指控它们违反当初创立时的初衷，为了获利而开发通用人工智慧（Artificial General Intelligence，AGI），而非当初所承诺的开源及替全人类谋福利。