日月光半导体首座AI节能机房年底将启用,以应对未来两年不断增长的AI和LLM发展所需

图片来源: 

摄影/余至浩

日月光半导体年底将启用首座全新的水冷散热资料中心,这座新机房不仅将成为PUE低于1.2的节能机房,还是一座拥有强大AI运算能力的AI节能机房,能够应对每年1.2倍增长的AI运算需求,以因应未来两年的AI应用及LLM发展所需。

日月光很早展开了数位转型,朝向智慧工厂来转型,2018年开始导入AI,逐步将AI应用于制程中,提升良率与生产效能。日月光同年建造第一座关灯智慧工厂,并在接下来4年内将关灯工厂增加到36座。随著AI应用日益成熟,日月光在2021年建构IAI(Industry AI)平台,推动AI全民化应用,进一步将AI应用从内场域制造推向组织内部,从智慧资安、品质检验、智慧诊断,到智慧设计、参数最佳化以及智慧营运等领域。

日月光半导体高雄厂副总李政杰提表示,目前,日月光的AI应用主要集中在制造端,结合深度学习和大数据,搭配自动化机器人技术,提升生产效能。此外,AI也应用于厂务节能减碳等环保项目。

近来火红的生成式AI技术,日月光也开始导入,主要应用于两方面,一是协助行政单位处理大量文书和影像,减少人力负担;另一方面,在工程领域中,利用生成式AI生成多样的研发样本,帮助工程师提高研发新原型的成功率。

虽然AI需求呈现指数型成长,对机房运算需求也越来越大,可是,运算增长产生温室气体排放也随之增加,尤其,近几年,ESG永续发展成为了企业必须重视的重要议题,日月光自己承诺2030年办公室净零,2050年生产制造据点净零的目标,因而每年需降低5~10%温室气体排放,如何兼顾AI需求和ESG永续发展,成了日月光IT大挑战。为了解决这个问题,日月光决定打造新一代IT机房,来应对这项挑战。

日月光即将在高雄启用的AI新机房,将采用Supermicro的水冷式散热技术,由中华系统整合进行布建,在这座新机房中引进新一代水冷AI伺服器及节能技术。

李政杰表示,新机房设计上导入水冷式散热设计,不仅利用伺服器本身的水冷机制,让冷水通过主机板快速带走热能,取代过去气冷式机房的冷热通道散热方式,此外,机柜水冷散热设计上,提供包含了散热板、冷却分配单元(CDU)、冷却分配分流管(CDM)以及整座冷却塔,可帮助日月光降低机房温度、耗电量以及整体总耗能。

李政杰指出,与传统气冷式机房相比,新一代节能机房采用水冷散热技术后,能耗可降低20%以上,预期PUE值将从1.51下降至1.2以下。这样不仅节能,也有助于减少碳排放。

在这座AI机房中,未来将部署多台AI伺服器机柜系统,每台AI伺服器主机内搭载了2个32核Intel CPU与8个Nvidia H100 GPU。李政杰表示,这座机房能够满足每年增加113%的算力需求。