【波士顿直击】红帽年会首日5大宣布,全面瞄准企业大规模GAI运用潮

红帽今年年度大会的重点是支援企业大规模的运用GAI,在第一天开场演讲中,宣布了五项重要的产品战略。

第一项重点宣布是全新的AI战略方向。红帽执行长Matt Hicks强调,红帽过去的战略是要通吃任何工作复杂,任何形式App,可以在任何地方执行(Any Workload,Any App,Anywhere),随著GenAI崛起后,他认为,也带来全新的工作负载型态,红帽全新的GAI战略是实现任何模型、任何加速晶片、任何云(Any Model,Any accelerator,Any Cloud),也就是,可以让任何模型,使用任何晶片,在不同云端环境,公云,私云和边缘上执行。

今天的第二项宣布是推出新版商用Linux作业系统RHEL 10。红帽产品长Ashesh Badani指出这是20年来最强大的新版本,可以通吃混合云和AI工作运算需求,新功能像是Image模式大幅简化维运,让OS更新就像手机更新一样简单,也推出命令列的Linux通用AI助理Lightspeed,RHEL也是第一款提供NIST批准的后量子加密演算法的商用作业系统。

第三项产品发表则是以vLLM专案为基础,推出全新的AI推论伺服器。红帽去年11月并购了vLLM专案主要贡献者Neural Magic,纳入Red Hat AI团队。红帽技术长Chris Wright强调,在AI世界,企业想要的生产上线(Production),如何支援企业大规模的GAI使用是焦点。用来加速LLM的开源专案vLLM,超过50万次下载,可以将模型推论的吞吐量提高数倍。红帽以Neural Magic的技术为基础,推出vLLM的AI Inference Server(红帽AI推论伺服器),可以支援各种模型,也能部署到各种环云端环境中。

第四项宣布是发表了一个大规模AI推论加速的开源专案llm-d。红帽技术长Chris Wright解释,llm-d专案以K8s为基础,打造出一个分散式推理架构,可以打破vLLM的单一伺服器限制,在正式环境中打造大规模的分散式推理架构,提供十倍推理吞吐量的能力。

Chris Wright比喻,llm-d专案对LLM推论世界的意义,就像是K8s,可以支援超大规模的架构。这项专案的创始成员包括了AMD、Cisco、CoreWeave、Google、Hugging Face、IBM Research、Intel、Lambda、Mistral AI和Nvidia。

最后一项重点是瞄准代理AI普及和大规模部署需求,红帽旗下两大AI产品线RedHat AI和OpenShift AI,未来将支援Meta的Llama Stack框架和 Anthropic 的 Model Context Protocol (MCP) 协定。 Llama Stack提供一整套标准化的GAI建置模组,后者则可以整合到庞大的MCP伺服器生态圈。