效率是IT永远的课题

云端龙头AWS这周举办年度大会re:Invent,我们记者王若朴也飞到美国现场,不到24小时,就发出4篇直击报导。我也看了AWS公用运算部门资深副总裁Peter DeSantis周一的晚间秀直播,不少值得介绍的亮点。其中,最让我觉得有意思的是,一项小小的光纤插头的改良。

在LLM大型语言模型的训练中,需要将大量资料送到数万,甚至十万颗GPU上来进行计算,因此,需要一套具有庞大传输能力的网路架构,AWS发展了一套称为10p10u的AI专用网路架构,可以在上千台伺服器之间,提供数十PB网路传输能力,而且延迟时间不到10微秒,相当惊人。

要达到这样的频宽和速度,当然得靠光纤,但就算如此,也需要超级复杂的光纤网路线的密集配线,单一个机柜就要用到数百条光纤来串联,要部署上千台伺服器来训练模型,密集光纤网路的配置更是旷日费时。AWS将16条独立的光纤整合成一把预制的光纤组件(Fiber optical trunk cable),直接在工厂先组装,不只减少了6成的连结器数量,也大幅减少接错线的情况,可以缩短近一半的部署时间。

不只如此,他们还重新设计了客制化的专用光纤插头(Firefly Optic Plug),这个小小的橘色插头,可以在工厂事先进行回路测试,提前验证网路连线情况,还有防尘密封设计,避免小灰尘跑进光纤接头中,影响了传输品质。「即使是一颗小灰尘,也会影响网路效能。光是改良这样简单的装置,就能提高整体网路的效能。」Peter DeSantis强调。

连一颗小灰尘都不能放过(放进光纤),这种极度讲究的态度,让我敬佩,不惜自己重新改良看似简单的光纤插头。一点一滴的改良累加起来,才能创造出数十PB等级传输能力的AI专用网路架构。

1211期封面故事「直击Momo南台智慧物流核心」,同样也谈到了用IT创造效率的课题。

我们另一位同事郭又华,11月下旬,南下参访Momo刚启用的南区智慧物流中心。这栋6层楼建筑,单日可进出16万件商品,一年吞吐量能达到5,800万件货品。他在现场,亲自走一趟,从进货、拣货、包货、理货到出货的作业流程,再以图解方式,一一说明Momo南部短链物流关键基地的运作关键。

Momo南区这座物流中心,直接复制了北区物流中心的自动化设备和作业流程,但是不一样的是,他们这次特别要招募IT、AI、自动化技术、云端运算的人才到这座中心的团队,Momo透露招募这批人才的目的,就是为了不断优化软体和流程设计,来降低缺货率,改善从订单到出货流程间的回转率,甚至希望能确保拣货和送货的准确率。换句话说,就是要用IT来优化智慧物流、仓储的效率。

对于效率的追求,是IT最基本,也是永远的课题,虽然不见得每一家企业,都有足够的规模和资源,可以如AWS这样设计自己的网路架构、设备、甚至是网路线插头,或能像Momo大砸30亿元、筹组500人团队,来打造智慧物流中心。但是,不论是AWS或是Momo,他们用IT追求更高效率的态度,值得尊敬,更值得仿效。

 相关报导