翔耀实业
看准AI应用普及,对于AI模型训练或推论的算力需求有增无减,国内提供电商服务的翔耀实业宣布与美超微、是方电讯、VMFIVE、无敌科技、数位无限等业者合作,将采用Nvidia H200、H100等GPU打造AI运算中心翔耀AICC(AI Computing Center),未来可望在全球超级电脑排名第15名,成为亚洲最快的AI算力中心之一。
翔耀实业董事长林以山今天(7/26)与美超微共同创办人廖益贤进行AICC设备采购签约仪式,翔耀AICC将使用是方电讯的LY2 AI资料中心大楼,借助是方电讯新建置的资料中心大楼,包括每平方公尺可承重2,000公斤,以及骨干网路,搭配温水冷却技术、冷热通道,资料中心的PUE值降到1.09。
林以山表示, AICC采用美超微的温水冷却技术,目标为打造绿色计算的新标竿,打造亚洲顶尖的AI算力中心,推动台湾及亚洲的AI进步、产业升级。AICC建置共分为两期,第一期部署128台伺服器,分4阶段建置,第一期算力达到46.54PFlops,预计可进入全球超级电脑排名20至25名之前,预期在2024年第四季先完成第1、2阶段设备装机,以64台H200伺服器,提供国内外AI算力服务。第2期将扩展至256台伺服器,总算力达93PFlops,为亚洲最快的AI算力中心之一。
林以山进一步表示,翔耀在新的团队经营带领下,以多年的电商技术及经验累积,结合产业伙伴,正式切入AI算力开发及服务。未来将会复制AICC的成功经验至亚洲其他国家,形成亚洲算力联盟AICA(AI Computing Alliance),推动区域内AI技术交流及创新应用。
此外,翔耀今天也启动公益计划,未来AICC将保留一部分的算力,提供政府、企业、学校使用,翔耀也与高雄市经发局共同合作公益算力。
AICA联盟推动AI软体生态系统,包括开发工具、应用服务、数据资源的整合,推动其他国家AI开发者及企业加入,推动AI技术及应用的创新。
AICA联盟执行长,同时也是VMFIVE创办人的丁俊宏指出,在AI时代,AI算力不仅代表国力,也代表产业力,如果没有及早因应AI算力需求,未来我们在AI产业应用发展上将落后于国际。AICC算力中心的建置目的在实现AI Taiwan,未来AI也是生产力,不只局限于硬体,也应该结合软体、应用服务。
丁俊宏也强调,AICC在设计架构上具有高度弹性,包括训练、推论、记忆、散热、高超速网路,运算中心考量不只是训练大型模型的算力需求,还包括推论的算力需求,如何达到更高的能源效率。
国内首个H200 AI运算中心
此次翔耀宣布打造的AICC运算中心,规画为2个SuperPOD丛集设计,超高密度算力部署方式,共可部署48个机架,支援256台水冷式GPU伺服器,总功耗为3MW,PUE小于1.09。采用温水冷却,36GFlops/Watt,PUE设计可达到1.09。
单以一个SuperPOD丛集设计来看,包含24个机架,128个运算节点(1,024个GPU及256个CPU),搭配1PB全闪储存及4PB物件储存,以及1,024个400G IB NDR port超高速网路埠,功耗设计为1.3MW。
翔耀宣称AICC将采用Nvidia H200 GPU,将是亚洲首座温水冷却H200 AI运算中心。不过,实际上依照AI训练、推论等不同算力需求,以及实际上GPU产品市场供应情势,AICC预期会混合H200、H100、GB200、B200等GPU。
未来组成亚洲AICA联盟,除了鼓励亚洲的区域性AI技术及应用发展,也支持AI新创,结合创业生态系统,进一步促成政府、产业加速AI转型、培育AI人才、推动AI绿色算力发展。
锁定企业及政府、娱乐产业及学研AI算力需求
丁俊宏表示,翔耀AICC未来将锁定3方面的算力需求,首先是产业及政府机构的AI转型,看准未来政府及产业在AI模型训练、推理的大量算力需求;其次是娱乐产业方面,过去娱乐产业需要大量成本投入电脑特效,可由AI协助生成特效,或是复制人物的声音、形象,这些都需要算力,现在影视娱乐产业对AI的算力需求浮现,未来AICC也会与相关的影视特效业者合作。
最后是与学校合作,他表示,学校有许多尚未商业化的AI模型及技术,需要算力协助其商业化发展,未来AICC会提供公有平台,让这些模型可打包商业化,提供API供各产业运用,协助学校研究与产业需求对接。
针对企业使用AI算力的数据安全性,丁俊宏表示,未来AICC提供两种私有化的方案,第一种方案是企业购买算力,搭配完全隔离的专用储存柜,算力与储存柜之间使用高速网路连线,以物理的方式确保安全;第二种是企业可以向AICC购买GPU或以自己采购的GPU,放到AICC的机柜托管,AICC等于建置环境,让企业使用自己的GPU算力、数据,搭配高速网路进行计算,至于接下来的推理部分,由于为比较不敏感的资料,可使用AICC的算力服务。