Ampere, 高通
晶片新创业者Ampere宣布将与高通(Qualcomm)合作开发一款Arm-based AI晶片,以低成本及省电等效益挑战Nvidia,并预告正在研发256核心CPU。
Ampere是一家Arm-based晶片开发商,自称开发出第一个云端原生处理器。微软Azure、Google Cloud和Oracle Cloud都推出使用Ampere Altra CPU的云端服务,甲骨文甚至于2023年投资Ampere 1亿美元为其主要投资者之一。Ampere Altra CPU是为执行即时AI作业,像是聊天机器人、资料分析及影片内容分析而设计,具备高速推论能力,但诉求比Nvidia GPU便宜。Ampere主要最新宣布中,一是和高通合作开发AI伺服器晶片,二是公告其12通道DDR5平台处理器的未来CPU产品。
首先,Ampere与高通合作整合其CPU及后者的Cloud AI 100 Ultra AI加速器,开发专为处理LLM推论作业设计的资料中心伺服器晶片,目的在创造无GPU的AI推论(GPU-Free AI Inferencing)。一开始这项合作将使用7奈米的Ampere Altra,在几个月后加入更新、3奈米的AmpereOne选项。而双方合作产品第一个客户是Supermicro,双方表示以后也会再推广到其他客户。
另一项宣布是关于AmpereOne。AmpereOne为支援12通道DDR5记忆体的处理器平台,现有规画产品为192核心,预计今年下半推出。AmpereOne下一代为256核心产品,使用相同的气冷式散热技术,号称比现有市面上产品效能提高40%。Ampere也强调AmpereOne产品在OEM及ODM硬体平台上的效能跑分数据,比AMD伺服器处理器Genoa及Bergamo系列分别高50%及15%,每机架效能则高出34%。
另外,Meta Llama 3现在也登上Oracle Cloud Ampere-based服务,后者底层为128核心Ampere Altera CPU,完全没有GPU,但该公司说,运行Llama 3的效能不输执行Nvidia A10+x86 CPU的环境,但用电量仅对手的1/3。
其他宣布包括Ampere加入AI平台联盟中新成立的UCIe(通用小晶片互连,Universal Chiplet Interconnect Express)工作小组,将秉持开放介面标准,以便在未来CPU中可整合Ampere和客户的技术;Ampere CPU结合NETINT的影片处理晶片Quadra T1U,提供360即时通道的同步转码,并使用OpenAI Whisper模型提供40道串流的即时翻译字幕。另外,其CPU除了记忆体标注(Memory Tagging)、QoS执行(QOS Enforcement)及网格壅塞管理(Mesh Congestion Management)等功能外,也新增FlexSKU功能,允许客户在横向(scale out)及向上扩充(scale up)部署情境中使用同一SKU。
图片来源/Ampere