Mistral AI是法国的人工智慧公司,由之前在Meta与DeepMind任职的研究人员成立,开发用于各种任务的大型语言模型。在Bedrock将要上架的Mistral 7B和Mixtral 8x7B模型,特性不同适合不同用例,Mistral 7B是一个拥有73亿参数的轻巧高效能语言模型,虽然相较于其他语言模型来说规模较小,但是却在许多基准测试上,表现都优于规模更大的Llama 2 13B。
而Mixtral 8x7B则是Mistral AI在去年底才刚开源的大型语言模型,其特别之处在于采用稀疏混合专家(SMoE)模型架构,能够处理32,000个Token上下文,但是在处理大量参数和资料的同时,也能维持一定的运算效率,在许多基准测试都超越拥有700亿参数的Llama 2 70B,甚至是GPT 3.5模型。