Meta使用超过10万台NVIDIA H100 AI GPU训练Llama 4，扎克伯格：比我所见过的都要大
11/01/2024, 12:07 PM UTC
Meta使用超过10万台NVIDIA H100 AI GPU训练Llama 4，扎克伯格：比我所见过的都要大Meta using over 100,000 NVIDIA H100 AI GPUs for Llama 4, Zuck: 'bigger than anything I've seen'
➀ 马克·扎克伯格宣布了Meta的新Llama 4模型，该模型在超过10万台NVIDIA H100 GPU集群上训练；➁ 据报道，该设置的成本超过20亿美元；➂ Meta正在与xAI和埃隆·马斯克在AI超级集群竞赛中竞争。➀ Mark Zuckerberg announced Meta's new Llama 4 model, trained on a cluster of over 100,000 NVIDIA H100 GPUs; ➁ The setup is reported to cost over $2 billion; ➂ Meta is competing with xAI and Elon Musk in the AI supercluster race.Meta首席执行官马克·扎克伯格更新了公司正在开发的新Llama 4模型的情况，该模型正在一个由超过10万台NVIDIA H100 AI GPU组成的集群上训练。
扎克 伯格表示，这个集群比他见过的任何其他集群都要大，预计Llama 4的小型模型将首先准备好。
据报道，仅H100 AI GPU芯片的成本就超过20亿美元，这意味着马克·扎克伯格为NVIDIA签了一些大单。NVIDIA首席执行官黄仁勋最近与Meta首席执行官马克·扎克伯格进行了交谈，黄仁勋表示，Meta现在拥有超过60万台NVIDIA H100 AI GPU，扎克伯格回应称Meta是NVIDIA的“优质客户”。
Meta正在与xAI和埃隆·马斯克竞争，马斯克的xAI计划将其Colossus AI超级计算机集群的规模翻倍，该集群目前拥有10万台NVIDIA Hopper AI GPU，并计划升级到20万台NVIDIA Hopper AI GPU。但这场最大的AI超级集群的竞争非常有趣，只是不要让我看到电费账单。
---
本文由大语言模型（LLM）生成，旨在为读者提供半导体新闻内容的知识扩展（Beta）。
