在CES展览会上，AMD展示了其最新的Instinct MI325X加速器，这是一款专为AI和高性能计算工作负载设计的处理器。这款处理器不仅拥有256 GB的HBM3E内存，而且承诺将成为最有效的推理GPU之一。

AMD的Instinct MI325X配备了与Instinct MI300X相同的双芯片GPU，具有19,456个流处理器（304个计算单元），时钟速度高达2.10 GHz。然而，这款新的加速器配备了256 GB的HBM3E内存，带宽为6 TB/s，而之前的HBM3内存为192 GB，带宽为5.3 TB/s。

尽管AMD的Instinct MI325X在HBM3E内存容量上领先行业，但现实世界中的情况似乎有所不同。根据AMD和NVIDIA在8月晚些时候提交的数据，配备八块NVIDIA H100 80 GB GPU的系统在MLPerf 4.1生成式AI基准测试中，每秒生成的token数量与配备八块AMD Instinct MI300X 192 GB GPU的机器相当。相比之下，配备H200 141 GB GPU的8路服务器比配备8路MI300X 192 GB的机器每秒生成超过30%的token。

目前，Instinct MI300X似乎（至少截至8月）无法充分利用其硬件功能，这可能是由于软件堆栈的限制。Instinct MI325X是否能够克服相同的软件堆栈限制并超越其竞争对手，还有待观察。