2026 年 10 月 19 日，Meta 发布官方技术文章，详细披露位于美国俄亥俄州新奥尔巴尼（New Albany）的 Prometheus AI 超级计算集群，包括 GPU 硬件配置、网络架构、故障恢复、电力供应及液冷系统等技术细节。

目前，Prometheus 已部署数十万块英伟达 GPU，分布在多栋相互连接的数据中心建筑中，第一阶段建设已经完成，并用于训练 Meta 的 Muse 系列基础模型，包括 Muse Wonder。

按照规划，Prometheus 最终将扩展至约 100 万块 GPU，形成吉瓦级 AI 超级计算集群，为 Meta 超级智能实验室（Meta Superintelligence Labs）的下一代前沿模型提供算力支持。

Prometheus 在建设初期曾面临严重的稳定性问题。

2025 年年中，集群每 8,000 块 GPU 每天最多发生近 1,000 次训练中断。

经过约一年的软硬件优化，Meta 已将训练中断次数降低 99%。

2025 年 6 月至 2026 年 9 月，Meta GB200、GB300 GPU 集群的训练中断次数变化。蓝线和橙线分别代表自建 GB200、GB300 集群，紫线代表云端集群。

Prometheus 所在的数据中心，两年前还主要承担常规网络服务流量。

随着 AI 训练需求增加，Meta 对原有设施进行了改造，并陆续建设专门针对 AI 优化的数据中心及快速部署设施，使分布在不同建筑中的 GPU 能够协同完成大规模模型训练。

在硬件方面，Prometheus 目前采用英伟达 GB200 NVL72 和 GB300 NVL72 两代平台。

其中，基于 GB200 NVL72 的 Catalina 平台采用双机架设计，每个机架配置 36 块 GPU，通过 NVLink 将 72 块 GPU 连接为一个计算域。整套系统拥有 13.4 TB HBM3e 显存，FP8 峰值训练算力为 720 PFLOPS，系统功耗约 120 kW。

升级后的 Clemente 平台采用 GB300 NVL72，可将 72 块 GPU 集成到单个机架，显存总容量增加至 20.7 TB，每块 GPU 配备 288 GB HBM3e 显存，较 GB200 增加 50%。该平台的 FP4 峰值算力超过 1 EFLOPS，机架功耗约 135 kW，Meta 称其性能较 GB200 NVL72 提升 5% 至 10%。

不过，更大的 GPU 互联规模也增加了系统故障的影响范围。

上一代 H100 平台的 NVLink 计算域主要包含 8 块 GPU，而 NVL72 将这一规模扩大至 72 块，单个互联域的故障影响范围扩大了 9 倍。

为避免单块 GPU 故障导致整个计算单元长时间退出训练，Meta 在每组 72 块 GPU 中，只安排 64 块直接承担训练任务，其余 8 块作为热备份，占总数约 11.1%。

一旦某块 GPU 故障，备用 GPU 可以迅速接替，使训练任务从最近的检查点恢复，无需等待硬件维修。

此外，Meta 还额外预留约 2% 的机架，用于应对整个机架发生故障的情况。

Meta 给出的一个配置实例显示，当训练任务需要 32,768 块 GPU 同时运行时，实际需要配置 523 个 NVL72 单元，合计 37,656 块 GPU。

其中，额外配置的 4,888 块 GPU 约占部署总量的 13%，主要用于故障冗余。

这部分 GPU 并非全部发生故障，而是预先配置的备用计算资源。 

对于规模达到数十万块 GPU 的 Prometheus 而言，即使只有约十分之一的 GPU 承担备用任务，也涉及数万块芯片。

除了硬件冗余，Meta 还采用并行感知容错机制（PAFT），降低局部故障对整体训练的影响。当故障仅涉及某个数据并行模型副本时，系统可以暂时移除受影响的副本，其余节点继续训练，再利用备用资源完成恢复和同步。

如果故障影响范围超出单个模型副本，整个训练任务则需要从最近一次检查点重新启动。

为减少计算损失，Meta 采用异步分布式检查点技术，将模型状态、梯度和优化器数据保存至多层存储系统，并通过增量检查点减少保存过程对训练吞吐量的影响。

Meta 披露，GPU 互联通信和内存可靠性，是 Prometheus 早期的重要故障来源。

整个集群拥有超过 60 万条 NVLink 连接，即使轻微的信号质量下降，也可能触发频繁的链路恢复操作。

Meta 因此引入持续监测和自动化诊断，在硬件投入正式训练前识别存在问题的连接。

随着 GB300 的部署规模扩大，HBM 和 LPDDR 内存故障也成为训练中断的重要原因。

Meta 与英伟达共同优化了内存固件设置、内存错误修正算法及预测性故障检测机制，提前识别可能发生故障的设备。

双方还在数据中心建立联合故障排查机制。

Meta 主要负责调度和基础设施优化，英伟达则参与固件、信号诊断及内存处理方面的改进。

在网络方面，Prometheus 采用专门服务 GPU 通信的以太网后端网络。单个建筑级网络最多可连接 20,736 块 GPU，不同建筑之间则通过区域汇聚网络连接，相关链路跨度从 2 公里延伸至超过 100 公里。

Meta Prometheus 数据中心建筑互联示意图，展示不同建筑之间的连接关系及部分链路距离。

Meta Prometheus 后端网络架构示意图：多个 GPU 集群通过后端汇聚层（BAG）实现跨区域互联。

Meta Prometheus 跨区域网络互联架构示意图，展示不同距离范围内的数据中心如何通过后端汇聚网络连接。

整个网络涉及数百万英里光纤芯线、数万台交换机和数百万个光模块。Meta 需要针对跨建筑训练中的网络延迟和通信效率进行专门优化，避免大量 GPU 因等待数据传输而闲置。

电力供应同样面临挑战。 

当数万块 GPU 同步执行计算和通信任务时，集群电力负载可能出现 30% 至 40% 的瞬时波动。大型训练任务启动或暂停时，电力需求甚至可能在数秒内变化数十兆瓦。

为此，Meta 开发了名为 Dynamo Dimmer 的集群级电力管理系统。当电力需求接近供电上限时，系统会逐步调整 GPU 功率限制，而不是直接停止训练任务。同时，Meta 还部署机架级电池备份、电容储能及设施级电池储能系统，缓解负载突然变化造成的冲击。

散热方面，Prometheus 同时使用模块化空气辅助液冷和设施级液冷系统。Meta 新建的 AI 专用数据中心采用直接面向芯片的闭环液冷技术，以满足高密度 GPU 机架的散热需求。

经过一系列优化，Meta 在 Muse Wonder 模型训练中，实现了超过 85% 的预训练有效计算产出率（Goodput），强化学习训练的有效计算产出率超过 90%。

与此同时，训练任务的平均中断间隔达到约 4.7 万 GPU 小时。随着后续固件优化部署，这一指标已经提高至超过 5.4 万 GPU 小时。

Meta 的下一步目标，是将每 8,000 块 GPU 每天的训练中断次数进一步降低至约 2 次，并将平均中断间隔提高至约 10 万 GPU 小时。

在未来硬件升级方面，Meta 计划继续引入英伟达 Vera Rubin NVL72 平台。

按照披露的规格，新一代 San Miguel 计算平台将配置 72 块 Vera Rubin GPU，每块 GPU 拥有 288 GB HBM4 显存，整机架 FP4 峰值训练算力达到 2.52 EFLOPS，功耗超过 170 kW。

Meta 预计，该平台的单位功耗性能较 GB300 NVL72 提升 10% 至 20%，并将与 Prometheus 现有网络基础设施兼容。

除 Prometheus 外，Meta 还计划将相关技术经验应用于美国路易斯安那州里奇兰堂区（Richland Parish）正在规划建设的 Hyperion 超级集群，进一步扩大 AI 算力基础设施规模。

从 Meta 披露的技术细节来看，百万 GPU 集群面临的挑战已经不只是增加芯片数量。如何控制故障频率、缩短恢复时间，以及解决跨数据中心通信、电力波动和散热问题，正在直接影响大规模 AI 模型训练的实际算力产出。

云头条声明：如以上内容有误或侵犯到你公司、机构、单位或个人权益，请联系我们说明理由，我们会配合，无条件删除处理。