AI启动下一波企业储存系统革命

从机器学习、深度学习,到生成式AI、代理型AI,人工智慧已成为当代企业IT应用的显学,当所有人都在追逐软体与AI模型的发展,以及硬体运算能力之余,对于网路、储存系统等IT基础架构的效能、效率要求,也跟著水涨船高。

单就网路环境而言,Nvidia这几年以来,陆续推出NVLink、NVLink Switch System,以及Spectrum-X乙太网路平台、Quantum-X800 InfiniBand网路平台,而近期崛起、由多家IT厂商组成的超乙太网路联盟(UEC),订定的1.0版规格今年6月正式定案,区分为连接外部环境的前端网路,以及连结AI丛集内部多个节点的后端网路。

而在储存系统的搭配上,仍是以Nvidia经营的市场生态系最为知名,处于相对显著的位置,他们这几年以来,持续号召多家企业级储存系统厂商,参与他们主导的DGX SuperPOD对于储存产品的认证,以及DGX BasePOD针对储存产品的认证,截至目前未止,包含DDN、Dell、IBM、NetApp、VAST Data、WEKA等厂商,都加入这个合作计划,共同拉抬Nvidia整柜型AI基础架构解决方案DGX System市场声势,协力推广AI应用设备预先搭配储存系统的快速建置方案。

2024年6月,Nvidia发表名为Nvidia Cloud Partner(NCP)的参考架构,目的是提供组建高效能、高扩充性与安全的资料中心,可处理生成式AI与大型语言模型的工作负载,这项计划也号召通过DGX SuperPOD认证的储存厂商加入,后续Nvidia也发展出NCP储存认证。

而在今年3月GTC大会期间,Nvidia针对储存系统产品发表新的AI基础架构参考设计,称为Nvidia AI Data Platform,厂商可依此为代理型AI应用系统与工具的需求,量身打造适合的资料平台,并且运用特制的AI查询代理人机制,加速AI推理(reasoning)的工作负载。Nvidia点名10家厂商都将支援这个平台,当中有许多都是与Nvidia密切合作的,包含DDN、Dell、Hitachi Vantara、HPE、IBM、NetApp、Nutanix、Pure Storage、VAST Data,以及WEKA。

基本上,Nvidia AI Data Platform提供的这些AI代理,是基于Nvidia AI Enterprise软体平台而成,当中囊括以NIM微服务形式打包、具备推理能力的Nvidia Llama Nemotron模型,以及新的Nvidia AI-Q Blueprint蓝图,能以近乎即时的速度从处理的资料当中,产生洞察分析。而在底层基础架构的部分,AI代理可借助Nvidia的GPU、DPU、网路等技术,以及开放原始码的推论程式库Nvidia Dynamo,提供最佳化效能。

以AI-Q Blueprint为例,提供AI代理系统的推理,以及连接企业资料的能力。首先,都以Nvidia GPU处理时,Nvidia声称AI-Q Blueprint用Nvidia NeMo Retriever微服务,资料提取速度可因此暴增15倍;而透过AI-Q Blueprint组建而成的AI查询代理,能在执行推论(inference)作业之际,同时连接资料,提供更精准、具有前后文脉络感知的回应内容。而且,这样的AI查询代理能快速存取大规模的资料、处理各式资料,涵盖不同来源的结构化资料、半结构化资料、非结构化资料,如文字、PDF档、图片、视讯。

除了以Nvidia为首的AI(GPU)储存厂商阵营,我们今年3月制作GPU直连物件储存的技术专题,提到MinIO、Cloudian、DDN投入;近期我们也注意到出现越来越多新创储存系统厂商正在发展KV Cache技术或解决方案,于是,本期iThome电脑报周刊的封面故事也以此为题,在所有市场调查机构都尚未提出相关分析报告之前,抢先于此时初步整理这类型产品的市场现况,并且探讨最新应用。目前,我们总共列出6家厂商(WEKA、焱融科技、VAST Data、PEAK:AIO、Pliops、GridGain),以及开放原始码软体(Nvidia Dynamo、llm-d)的解决方案。

基于上述趋于多元的AI储存系统发展路线,可望带动新一波企业储存系统产品的转型,我们期盼能有更多厂商投入,Dell、IBM、HPE、NetApp、Pure Storage等大厂也必须加紧脚步,透过积极研发或并购合适的厂商,及早扩大相关布局,以免错失商机。