跳至内容
  • 101 200 126 202

  • 首页
登录
  • ithome台湾
  • Uncategorized
  • 虎嗅
  • 财富中文网
  • 搜索

Google让浏览器、Android手机、iPhone都可执行大型语言模型

ithome台湾
2024-03-12

Google发布 (图一)

(图二)

四种模型在WebGPU和Android GPU上都能顺畅运作,不过Google提到,受iPhone记忆体的限制,目前只有Gemma 2B(int4)能够在iOS运作。在GPU上,Falcon 1B和Phi 2使用浮点数fp32,而Gemma和StableLM 3B则可以使用浮点数fp16就好,官方表示,Gemma和StableLM 3B即便使用较低精度的浮点数,仍可以保持一定的效能和强健性。

Google提到,他们仍会继续这项研究,并扩展支援更多平台和模型,提供广泛的转换工具、装置上元件。现在开发者已经可以在GitHub上查看官方范例,以便深入理解API的使用方式。

我的网站