本文来自微信公众号:极客公园 (ID:geekpark),作者:美漪,编辑:靖宇,题图来自:AI生成
两天前,英伟达创始人黄仁勋在CES上发布了公司一系列AI新产品和解决方案,为人工智能的算力和应用落地提供更多“弹药”。在抓紧生产现有架构的AI基建硬件时,这家巨头早已经瞄准了下一代技术。
不久前,英伟达联手老对手英特尔,投资了一家初创公司Ayar Labs。新一轮1.55亿美元的融资,也让Ayar Labs成为芯片领域的新一家独角兽公司。
这家公司是什么来头?为什么能让芯片三巨头打破障碍联合投资?
Ayar Labs主攻光学互连解决方案,其解决方案能以AI运作的速度移动数据,以满足客户对可扩展、经济高效的AI基础设施的迫切需求。
对此,Ayar Labs联合创始人兼CEO马克·韦德表示,“领先的GPU提供商AMD和英伟达以及半导体代工厂格芯、英特尔代工、台积电,再加上Advent、Light Street和我们其他投资者的支持,凸显了我们的光学I/O技术重新定义AI基础设施未来的潜力。”
“光学I/O”是什么东西?Ayar Labs又能解决快速发展的AI领域的什么问题?
一、精英团队
Ayar Labs在2015年成立,总部位于加州圣何塞。
起初公司由四位MIT学生在2015年共同创立,其中Mark Wade、Chen Sun和Vladimir Stojanovic,当时分别是MIT电子工程专业的博士生和访问学者,目前分别担任公司的CTO、首席科学家和首席架构师。随后,他们邀请了当时正在攻读MIT MBA的Alex Wright Gladstein加入团队,担任CEO。
现在,团队由来自英特尔、IBM、美光、Penguin、麻省理工学院、伯克利和斯坦福的许多顶尖技术专家组成。
成立以来,Ayar Labs一直深耕于光学互联解决方案领域,市场战略重点是解决光电子领域的大批量、高质量制造问题。
公司成立次年获得了2百万美元的种子轮融资,而最新一轮顶级芯片制造商的投资正是该公司技术走向成熟的标志。新的资金将用于扩大芯片生产规模,促进生成式AI、分解数据中心等的发展。
Ayar Labs的发展历程|图片来源:Ayar Labs官网
Ayar Labs首席执行官兼联合创始人马克·韦德今年10月在采访中表示,“客户已经在试用Ayar Labs的芯片,在过去的18个月里,出货超过15 000台,这为我们在2026年年中至2028年年中的两年重点窗口期实现批量生产奠定了基础。”“我们预计月产量将达到数十万到数百万个,到2028年及以后,年产量有可能超过1亿个。”
目前,Ayar Labs的芯片由GlobalFoundries(起初为AMD公司的制造部门,后来成为独立公司)制造,并且已经与所有一级CMOS制造商建立了合作关系,与GlobalFoundries、Applied Materials、台积电、英特尔和英伟达等主要厂商建立了战略合作关系,将光I/O解决方案整合到其制造产品中。
对此,Ayar Labs曾官方宣布,“我们正在建立一个强大的生态系统,其中包括重要的战略技术和供应链合作伙伴。我们还积极参与多个行业和标准组织的活动,推动光学I/O芯片生态系统的发展。”
Ayar Labs强大的生态系统|图片来源:Ayar Labs官网
二、解决AI数据瓶颈
生成式AI模型的复杂性和规模指数级增长,对大型计算集群的需求也在日益增加,这些算力设施通常需要连接数百甚至数万个GPU及其他加速器,以提供AI所需的内存和计算资源。
然而,AI基础设施的扩展正面临带宽、延迟和功耗的挑战,这些挑战主要是由传统基于铜的互连技术造成的瓶颈。在连接超过1.5米距离和72个GPU的机架时,传统电互连技术尤其会遇到性能瓶颈和限制。
数据传输瓶颈限制了GPU的效能,导致投资收益递减。具体来说,单个GPU的运行效率可达80%,但扩展至64个GPU时可能降至50%,进一步扩展至256个GPU时可能只有30%。
这不仅降低了整体系统效率,还严重阻碍了数据中心性能的全面提升,限制AI技术的进步。
根据高盛最近发布的报告预测,未来十年,AI基础设施支出预计将超过1万亿美元。这凸显了对消除传统互连瓶颈解决方案的迫切需求。
为了应对这一挑战,Ayar Labs推出了业界首个封装内光I/O解决方案。
Ayar Labs光I/O解决方案的创新之处在于其整体封装设计。该设计允许光学模块直接与芯片集成,实现节点的大规模直连,有效克服了I/O密度、数据速率扩展和互联功率效率的限制。
与传统的可插拔光学器件和电气SerDes互连方式相比,Ayar Labs的光I/O解决方案可实现5~10倍的更高带宽、4~8倍的能效,并将延迟降低至1/10,最大限度地提高AI基础设施的计算效率和性能,同时降低成本、延迟和功耗,显著提升AI应用的盈利指标。
对比传统互连,Ayar Labs的光I/O解决方案的优势|图片来源:Ayar Labs官网
不仅如此,光I/O解决方案遵循UCIe、CXL、CW-WDM MSA等开放标准,并针对AI训练和推理进行了优化,其强大的生态系统使其能够顺利地大规模集成到AI系统中,进而提升生成式AI应用的性能和效率。
Ayar Labs的光I/O解决方案特别适用于下一代AI扩展架构,这种架构需要超高的带宽和跨数百甚至数万个GPU的连接|图片来源:Ayar Labs官网
三、“光I/O”初探
Ayar Labs的光I/O解决方案结合了两项行业首创技术——TeraPHY光学I/O Chiplet和SuperNova多波长光源。
TeraPHY光学I/O Chiple是业界首款封装内单片式光学I/O芯片。
它主要负责光电信号之间的转换和收发,是一种用于替代传统的铜背板和可插拔光学通信的小型化、低功耗、高吞吐量的解决方案。
它首次将硅光子技术与标准的CMOS制造工艺结合起来,将光学互联与电子GPU或CPU集成在同一封装内,可以无缝集成到客户的系统级封装(SiP)架构中,使专用集成电路(ASICs)能跨越从毫米到千米的距离进行无缝通信,最大限度地减少信号损失和延迟,这对于分布式AI系统和云计算环境格外有用。
这一创新组件包含了约7000万个晶体管和10 000多个光学器件,主要包含了以下几个模块:
Grating Coupler Fiber Coupling Array:负责光信号的输入输出。
Optical Transceiver:主要负责进行光电信号的调制转换,主要由微环调制器(Micro-ring Modulators)和微环滤波器(Micro-ring Filter)组成,前者负责调制出所需的光信号,后者负责处理接收到的光信号。
值得一提的是,微环调制器正是TeraPHY的核心优势,鉴于它成功解决了温度敏感性和信号稳定性问题,实现了在15~100°C温度范围内准确输出特定波长的光信号;
AIB:负责和芯片之间的电信号互联;
Glue/Crossbar:是Optical Transceiver和AIB之间的连接桥梁。
TeraPHY光学I/O Chiplet凭借其模块化多端口设计,能够支持8个光通道,等同于一个x8 PCIe Gen5链路,满足生成式AI模型对大规模并行处理的需求。
其4Tbps的总双向带宽和每个端口256Gbps的高速传输能力,能够迅速移动数据,加快AI模型的训练和推理过程。而且,每隔几年这一芯片带宽或将翻倍。
5ns的低延迟性能有助于提升数据处理速度,优化AI生成式体验。此外,其低功耗特性(每比特不到5pJ/b)有助于降低能源消耗,减少AI运营成本,同时减轻对环境的影响。
TeraPHY光学I/O Chiple的核心特征|图片来源:Ayar Labs官网
Ayar Labs致力于通过技术创新,帮助客户应对未来的挑战。
举例来说,为了应对移动网络边缘的快速转型需求,以及AI驱动服务的指数级增长,Ayar Labs将TeraPHY光学I/O芯片和康宁独特的内置光连接的玻璃波导模块结合在一起,开发了新一代AI光学解决方案。爱立信也加入了该合作,以开发其电信未来无线电。
这种全新的集成光学解决方案将为AI架构、6G、数据中心和其他计算密集型应用提供高密度、高性价比、低延迟、高能效的连接。
SuperNova则是远程光源独立的激光器,负责准确地发出多个波长的光子。
它可以被视为位于ASIC封装外部某处的光电源,在实际部署中,SuperNova与TeraPHY协同工作,共同发挥作用。
SuperNova与TeraPHY协同工作|图片来源:Ayar Labs官网
SuperNova由Ayar Labs和MACOM(DFB的顶尖设计商之一)联合设计,交由UK知名激光制造商Sivers Photonics制造。
它是首款符合CW-WDM MSA(粗波分复用多源协议)标准的多波长、多端口光源,最多支持将16种波长的光传输至16根光纤,实现了光I/O技术的又一次重大飞跃。
每根光纤最多可传输16个波长,因此可驱动256个光载波,提供16 Tbps的双向带宽,满足AI工作负载所需的带宽水平。
16波长SuperNova光源封装紧凑,工作温度范围广,可为256个数据通道提供光源,能够处理AI应用大规模增长所需的更高吞吐量,为未来可能的扩展提供了充足的空间。
波长数量是CWDM4多波长可插拔光学器件的64倍,且多个波长在一个单一的阵列中简化了包装,降低了封装成本,这对于大规模部署AI系统来说是一个重要的优势。
不仅如此,SuperNova符合CW-WDM MSA规范,满足GR-468对于光电设备和可插拔光学的可靠性要求,可广泛应用于AI架构、高速I/O、光计算和高密度协同封装光学器件等领域。
可见,Ayar Labs的光I/O解决方案基于标准、面向未来、可扩展,旨在优化AI性能。
随着AI基础设施需求的日益增长,集成光I/O已成为提升效率和效益的关键。
芯片行业的领军企业已经聚焦于光互连技术,旨在利用其光学特性来打破性能瓶颈,增强AI基础设施的性能和计算效率,同时减少成本和能耗。
英伟达首席科学家兼高级研究副总裁比尔·达利曾坦言,“光连接对于扩展加速计算集群以满足AI和高性能计算工作负载快速增长的需求非常重要。Ayar Labs拥有独特的光I/O技术,能够满足扩展基于硅光子技术的下一代人AI架构的需求。”
事实上,Ayar Labs在光互连领域还有不少同行。
今年10月,瑞士光互连初创公司Lightmatter完成了4亿美元的D轮融资,由新投资者T.Rowe Price领投,公司估值达到44亿美元,较之前12月GV领投的1.55亿美元融资后的12亿美元估值增长了近四倍。
在同一时期,纽约的Xscape Photonics也通过光子技术解决了AI数据中心在能源、性能和可扩展性方面的挑战,并获得了4400万美元的A轮融资,由IAG Capital Partners领投,思科投资公司和英伟达等也参与了投资。
随着巨头的密切关注、大量资金持续流入这一行业,光互连技术作为取代“线缆”的下一代连接技术,成为又一个迎来变革的行业。
本文来自微信公众号:极客公园 (ID:geekpark),作者:美漪,编辑:靖宇