下一代互连技术重构AI基础设施：从协议革命到光学封装
04/29/2025, 01:00 PM UTC
通过下一代互连技术扩展AI基础设施Scaling AI Infrastructure with Next-Gen Interconnects
➀ AI技术发展推动数据中心对高带宽、低延迟互连技术的需求，例如Meta的Llama 3模型需使用16,000块NVIDIA H100 GPU和15.6万亿token进行训练；
➁ UALink和超以太网等新协议解决横向/纵向扩展需求，共封装光学（CPO）技术逐步替代铜缆以提升能效；
➂ 2.5D/3D多芯片封装与UCIe标准实现低延迟AI芯片，支持可复用的Chiplet架构。
➀ AI advancements drive demand for high-bandwidth, low-latency interconnects in data centers, exemplified by Meta's Llama 3 requiring 16,000 GPUs and 15.6T tokens for training;
➁ New protocols like UALink and Ultra Ethernet address scale-up/scale-out needs, while optical links and Co-Packaged Optics (CPO) replace copper for energy efficiency;
➂ Multi-die packaging (2.5D/3D) and UCIe standards enable AI SoCs with reduced latency and reusable chiplet architectures.
在近期硅谷IPSoC大会上，新思科技高级技术产品经理Aparna Tarde指出，AI模型参数规模呈指数级增长（如Llama 3达4050亿参数），传统数据中心架构已面临根本性变革。当前单GPU内存容量（NVIDIA H200为141GB）与AI模型需求（Llama 3.1需854GB）间的巨大鸿沟，正推动三大技术革命：
协议层创新：UALink专为AI横向扩展设计，支持1024个加速器互联，相比PCIe 7.0和CXL 3.x，其精简协议栈可降低40%延迟；超以太网则通过多路径路由实现百万级节点互联，解决传统以太网网络拥塞问题。
光学革命：铜缆在8Tbps以上带宽面临信号衰减挑战，CPO技术将光引擎与ASIC共封装，使交换机功耗降低50%，预计2026年CPO市场规模将达26亿美元。当前数据中心已形成分层架构：PCB走线（<1m）、铜缆（机架内）、光学（跨机架）。
3D封装突破：UCIe 2.0支持2.5D集成，3DIO PHY实现垂直堆叠，使Die-to-Die互连带宽达1.6Tbps/mm²。台积电CoWoS封装成本虽达晶圆成本30%，但可提供较单芯片方案3倍的HBM带宽密度。
新思科技通过完整的高速接口IP组合（涵盖112G SerDes、HBM3、UCIe等），正推动AI基础设施向开放生态转型。行业预测显示，到2027年AI芯片互连带宽需求将突破200Tbps，这要求半导体产业链在材料、封装和热管理领域持续创新。
---
本文由大语言模型（LLM）生成，旨在为读者提供半导体新闻内容的知识扩展（Beta）。
