• 101 200 126 202

  • 首页
登录
  • ithome台湾
  • Uncategorized
  • 虎嗅
  • 财富中文网
  • 搜索

Amazon Bedrock将上架Mistral 7B和Mixtral 8x7B两开源语言模型

ithome台湾
2024-02-27

AWS和Mixtral 8x7B,而这将使Mistral AI成为继AI21 Labs、Anthropic、Meta、Stability AI等厂商之后,第7个Bedrock基础模型供应商,用户将有更多的大型语言模型选择,以满足开发各种人工智慧应用的需求。

Mistral AI是法国的人工智慧公司,由之前在Meta与DeepMind任职的研究人员成立,开发用于各种任务的大型语言模型。在Bedrock将要上架的Mistral 7B和Mixtral 8x7B模型,特性不同适合不同用例,Mistral 7B是一个拥有73亿参数的轻巧高效能语言模型,虽然相较于其他语言模型来说规模较小,但是却在许多基准测试上,表现都优于规模更大的Llama 2 13B。

而Mixtral 8x7B则是Mistral AI在去年底才刚开源的大型语言模型,其特别之处在于采用稀疏混合专家(SMoE)模型架构,能够处理32,000个Token上下文,但是在处理大量参数和资料的同时,也能维持一定的运算效率,在许多基准测试都超越拥有700亿参数的Llama 2 70B,甚至是GPT 3.5模型。

我的网站