在AI加速器中，高带宽内存（HBM）扮演着至关重要的角色。从NVIDIA的GB200 Ultra到AMD的MI400，每一款新的AI芯片都配备了更快、更大的HBM堆栈，将内存带宽推至每秒数以千兆字节计。然而，在这些令人印象深刻的规格背后，隐藏着一个不那么明显的真相：即使HBM也并非总是足够快。对于AI硬件设计师来说，这个见解可能是解锁真正性能的关键。

虽然HBM解决了内存带宽问题，但它并不能消除延迟。在拥有每秒数以千兆字节带宽的情况下，单个内存事务仍然可能遭受延迟。一次加载队列的缺失可能需要数十个时钟周期。注意力层或稀疏矩阵操作典型的非规则访问模式往往会破坏预测机制，如预取。在许多系统中，内存被多个计算块或芯片块共享，这引入了协调和排队延迟，而HBM无法消除这些延迟。尽管HBM是垂直堆叠的，但DRAM行冲突和调度竞争仍然存在。

总的来说，这些延迟事件导致了性能悬崖。虽然内存系统在技术上可能很快，但它在计算引擎需要数据的精确时刻并不总是足够快——这导致这些芯片有价值的单元闲置。

AI处理器，尤其是那些针对矢量和矩阵计算优化的处理器，对同步数据流高度依赖。当发生延迟时——无论是由于内存访问、寄存器不可用还是数据危害——整个矢量通道可能会停摆。数据到达的短暂延迟可能会停止数百或数千个正在进行的操作。

这种现实使延迟成为性能的隐形杀手。虽然增加HBM带宽可以帮助，但这并不足够。今天的架构真正需要的是一种容忍延迟的方法——而不仅仅是超越它。

位于奥斯汀的专利丰富的初创公司Simplex Micro直面这一挑战。其一系列已获批准的专利专注于延迟感知指令调度和流水线恢复，提供机制以保持计算引擎在生产状态，即使数据交付滞后。

Simplex的众多创新包括时间感知寄存器计分板，它跟踪预期的加载延迟并根据此安排操作，避免在发生之前的数据危害。另一个关键发明实现了零开销指令重放，允许由于内存访问而延迟的指令干净地重新发布并继续执行，而不会破坏流水线。此外，Simplex还引入了循环级别的乱序执行，使独立的循环迭代能够在满足其数据依赖关系后立即进行，而不是被人为的顺序约束所阻碍。

这些技术共同构成了一个微架构工具包，即使在面对现实世界的内存不可预测性时也能保持矢量单元的喂养和活跃。

这种设计理念的影响对于构建定制AI硅的公司——如Google的TPU、Meta的MTIA和Amazon的Trainium——特别相关。虽然NVIDIA在HBM容量和封装方面取得了突破，但许多超大规模公司面临着更严格的关于功率、晶圆面积和系统成本的约束。对于他们来说，扩大内存可能不是一个可持续的策略。

这使得延迟容忍架构不仅是一个性能提升器，而且是一个实际需求。通过提高内存利用率和计算效率，这些创新使超大规模公司能够从每个HBM堆栈中提取更多性能，提高能效，并在不大幅增加硅成本或热负载的情况下保持竞争力。

随着AI工作负载在复杂性和规模上的持续增长，行业正在合理地投资于高性能内存系统。但越来越明显的是，仅仅原始内存带宽并不能解决所有问题。真正的竞争优势将来自架构智能——即使在内存停机时也能保持矢量引擎的生产力。

延迟容忍计算设计是尖端内存技术和现实性能之间的缺失环节。在向高效、可扩展的AI基础设施的竞赛中，赢家将是那些优化更智能——而不仅仅是建造更大——的人。