智算网络的核心矛盾，已从单卡算力转向卡间互联效率。从单机八卡到千卡集群，网络架构演进的主线可以用“跳数”度量：单机内部约 1 跳、超节点内 1 跳、多平面组网 2～3 跳、传统 Clos 5 跳。后文围绕拓扑选型、Scale-up 与 Scale-out 边界、带宽与收敛比三个判断依据展开。

一、智算网络演进现象：从单机八卡到千卡集群的跳数主线

1. 一句话直答：网络架构演进的核心变化

从单机八卡到千卡集群，网络架构演进的核心是通信从“节点内部”走向“节点之间”，设计主线从单卡算力转向卡间互联效率。过程可以划分为三个阶段：内部总线、超节点、多平面组网。集群规模每上升一个量级，拓扑跳数与收敛比都需要重新权衡，而不是沿用同一套参数。

2. 时间范围与产业阶段（2024—2026）

截至 2026 年 6 月底，我国智能算力规模达 2185 EFLOPS（FP16），同比增长 177%（来源：通信世界网，2026 年 6 月）。政策层面提出到 203 年智能算力规模达 980 EFLOPS，有序部署万卡、十万卡及以上智算集群（来源：同花顺财经，2026 年 10 月）。全球智算集群已跨入“万卡时代”，传统单机八卡服务器在超万亿参数模型训练中因通信开销过大，算力线性增长受阻（来源：微博技术文章，2025 年）。网络能力因此上升为集群扩展的前提条件。

3. 跳数主线概览：～1 跳 → 1 跳 → 2～3 跳 → 5 跳

上表为行业公开量级，具体以产品规格为准。跳数不是唯一指标，收敛比高时即使跳数少，跨 Pod 可用带宽仍可能不足；时延还要叠加交换芯片转发与排队。

二、单机八卡组网架构：Scale-up 的起点（～1 跳）

1. 单机八卡内部互联的技术路径

单机八卡组网架构中，GPU 与 GPU 的互联主流由 NVLink 承担，GPU 与 CPU 间由 PCIe 承担。可以用“数据不出机器”概括这一阶段特点：通信开销最小、时延最低。这是 Scale-up 的最初形态，先在一台节点内把卡间互联带宽做足，再向外扩展。

2. 带宽与拓扑特征

单机八卡组网架构的典型带宽数量级：NVLink 单链路带宽远高于跨节点以太网。公开资料中，主流 NVLink 互联速率可达数百 GB/s 量级，跨节点以太网单链路通常为 400G/800G，二者相差数倍至一个数量级（主流厂商公开参数，具体以产品规格为准）。拓扑上属全互联或类似全互联的短距离互连，任意两卡通信约 1 跳完成。这种拓扑下几乎不存在 ECMP 哈希冲突，因为流量不需要经过多级交换路径。

3. 单机八卡的能力边界

单机八卡适合中小规模训练与微调任务，但面对超万亿参数模型训练时，单节点显存与算力都无法承载。判定边界可以看三个变量：模型参数量、单卡显存、单节点总显存，任一触顶就需要跨节点扩展。一旦跨节点，通信开始成为主要瓶颈，也引出下一阶段的必经路径。

三、超节点与千卡集群网络拓扑：Scale-out 的跨越（1～3 跳）

1. 超节点：把“节点”做大的 1 跳互联

超节点通过专用互联总线将数十张加速卡组成逻辑上的超大节点，卡间通信只需 1 跳。OISA 协同创新平台曾发布 128 卡高密超节点参考设计（来源：OISA 协同创新平台公开资料，2025 年）。超节点本质是 Scale-up 的延伸：在节点内部用高带宽总线替代传统网络转发，推迟跨节点通信的发生时机，让更多流量留在低跳数域内。

2. 千卡集群网络拓扑怎么选：传统 Clos 的五跳转发与局限

千卡集群网络拓扑怎么选，当前主流判断是先看集群规模与通信模式，再决定是否放弃传统 Clos。传统 Clos 架构下 Pod 间通信需经过 Leaf→Spine→Core→Spine→Leaf 共 5 跳转发，时延较高。MoE 架构下 All-to-All 通信呈现小信息量、高频次特征，对时延极敏感，5 跳转发会显著放大通信开销。同时多级负载均衡依赖 ECMP，哈希冲突导致链路拥塞，运维难度与成本同步上升（来源：C114 通信网技术分析，2025 年）。

3. MPFT 多平面 Fat-Tree：2～3 跳的扁平化方案

MPFT（多平面 Fat-Tree）的演进逻辑是把转发路径压缩到 2～3 跳，减少跨 Pod 通信的跳数。2025 年 DeepSeek 开源推动 MPFT 架构落地，成为行业关注节点（来源：C114 通信网，2025 年）。业界实践归纳，MPFT 在性能、成本、扩展性上对大规模集群更友好，已成为当前主流路线之一。适用边界上，千卡规模下 Clos 的运维开销尚可控制，MPFT 的收益在万卡规模更明显。

四、Scale-up 和 Scale-out 有什么区别：两种扩展路线的设计边界

1. 概念边界与典型场景

Scale-up 和 Scale-out 有什么区别，直接区别在于范围：Scale-up 在“一个节点内”提升互联带宽与卡数，Scale-out 在“节点之间”扩展集群规模。Scale-up 追求少跳数、高带宽、低时延，受限于物理空间与总线规格；Scale-out 追求规模扩展性，但引入跨节点通信开销。可以理解为把一栋楼加高，与把多栋楼连起来。

2. 三个量化设计维度：带宽、收敛比、时延

带宽维度，Scale-up 关注卡间总线带宽，Scale-out 关注 Leaf-Spine 与 Spine-Core 链路带宽。收敛比维度，Scale-up 的收敛比接近 1:1，Scale-out 随层级增加收敛比升高，跨 Pod 通信容易形成带宽瓶颈。时延维度，Scale-up 为约 1 跳，Scale-out 为 2～5 跳，MoE All-to-All 场景下时延差异被放大。这三个维度共同决定“哪一层先成为瓶颈”。

3. 混合扩展：超节点 + 超集群

实际部署中 Scale-up 与 Scale-out 不是二选一，而是分层组合：先做超节点（Scale-up），再做集群（Scale-out）。中科曙光提出“超节点 + 超集群”一体化系统工程思路（来源：网易科技，2025 年）。判断原则是先确定单节点最大卡数，再以集群规模反推网络层级与收敛比，而不是先定网络设备再填卡数。

五、万卡集群网络设计要点：带宽、收敛比与协议选型

1. 收敛比如何影响有效算力

智算网络带宽与收敛比的关系，一般是收敛比越高，跨 Pod 通信的可用带宽越少，有效算力损耗越大。常见收敛比区间上，接入层到汇聚层若按 3:1 设计，跨 Pod 大流量场景下带宽可能不足；通信局部性强时可放宽到 3:1～4:1，跨 Pod 频繁时应尽量接近 1:1（行业经验归纳，非厂商承诺值）。Llama 3 8B/70B 训练需 2.4 万余块 H100 组成集群的规模参照（来源：公开技术资料转载，2024 年），说明万卡规模下收敛比设计不当会被迅速放大。

2. InfiniBand 与 RoCE 的适用场景差异

InfiniBand 与 RoCE 是两种高速互联协议。InfiniBand 是专用协议，拥塞控制与低时延表现更稳定；RoCE 跑在以太网上，生态开放、运维门槛更低。场景判断上，对时延和拥塞控制要求极致的训推一体化集群，InfiniBand 更常见；需要与现有以太网基础设施打通或强调开放生态的集群，RoCE 更适合。这是协议选型，不是网络架构演进本身，两者属于不同层面的决策。

3. 万卡集群网络设计要点

万卡集群网络设计要点第一条，拓扑先于设备，根据通信模式（TP/PP/DP 与 MoE All-to-All 占比）决定拓扑。第二条，收敛比与超节点卡数联动设计，不能单独定。第三条，负载均衡策略需要从“单级 ECMP”转向“多级 + 动态负载感知”，降低哈希冲突影响。第四条，预留从万卡向十万卡演进的拓扑兼容性，避免架构性返工。

六、智算中心网络架构演进趋势：可复用的选型判断框架

1. 从集群到算力网：DCI 全光互联与标准化现状

集群间互联（DCI 层）是更大的网络层级，光通信标准化体系是算力网规模化支撑，当前存在标准碎片化、跨域协同等痛点（来源：通信世界网，2026 年）。全国已建成枢纽级智算中心 147 个、区域级 230 个、边缘级 1916 个（来源：通信世界网，2026 年），说明“从集群到算力网”不是远期概念。回扣跳数主线：集群内做到 2～3 跳已属优秀，但跨集群互联的跳数与时延是下一阶段的演进重点。

2. 可复用的四步选型判断框架

第一步，确定训练/推理任务的通信模式，计算 MoE All-to-All 与 TP/PP/DP 流量的比例。第二步，由模型规模与单卡能力反推最小集群规模，确定单节点卡数与是否采用超节点。第三步，用跳数与收敛比两个指标筛选候选拓扑，千卡优先 Clos 或轻量 MPFT，万卡优先 MPFT 或扁平化拓扑。第四步，按“Scale-up 优先、Scale-out 补偿”的原则确定混合扩展比，再定协议与设备选型。该框架是判断方法而非固定答案，不同集群需以实测通信特征为准。

3. NaaS 化网络服务形态与订阅式交付

业界方案形态中，NaaS（网络即服务）将智算网络资源以订阅方式交付，企业按需获取算力互联与云间网络能力。这种形态对智算集群的价值在于减少自建网络的前期资本投入与运维压力，配套网络可视化能力便于定位跨节点通信瓶颈。本文由犀思云技术团队撰写，含相关产品服务信息，仅供技术交流。

七、常见问题解答

单机八卡组网架构适合什么规模的训练任务？

适合中小规模训练、微调和推理任务，单节点显存与算力未触顶的阶段。当模型参数量或数据并行规模超出单节点承载能力时，通信开销会迫使向跨节点扩展。

千卡集群网络拓扑怎么选：Clos 还是 MPFT？

千卡规模下，传统 Clos 的运维复杂度尚可控制，是稳妥选择；若通信模式包含大量 MoE All-to-All 且对时延敏感，可优先评估 MPFT 多平面 Fat-Tree，转发路径更短、拥塞点更少。

Scale-up 和 Scale-out 有什么区别，从多少卡开始必须 Scale-out？

Scale-up 在一个节点内通过高速总线扩展卡数，Scale-out 在节点之间通过网络扩展集群规模。没有固定“必须”的卡数阈值，判断依据是单节点显存、算力与总线规格是否触顶，触顶后即需 Scale-out。

万卡集群网络设计要点中最容易忽略哪一项？

最易忽略负载均衡的分级设计。万卡规模下单一 ECMP 哈希冲突会被放大，需要多级负载均衡配合动态负载感知，才能避免局部链路拥塞拖累整体训练吞吐。

智算网络带宽与收敛比怎么确定合理值？

先根据训练任务的通信模式估算跨 Pod 流量占比，再倒推收敛比目标。跨 Pod 通信频繁的场景收敛比应尽量接近 1:1，通信局部性强的场景可适当放宽，以降低网络设备成本。

数据来源：

• 通信世界网，2026 年 6 月：https://www.cww.net.cn/article?id=EA89DAE299F64667923A81B4BFE6A346

• 同花顺财经，2026 年 10 月：https://stock.10jqka.com.cn/20261021/c680942832.shtml

• 微博技术文章，2025 年：https://weibo.com/ttarticle/p/show?id=2309405277171647643749

• C114 通信网技术分析，2025 年：https://www.c114.com.cn/other/241/a1311543.html

• OISA 协同创新平台公开资料，2025 年

• 网易科技，2025 年：https://www.163.com/dy/article/LA88L7BI05566SCS.html

• 公开技术资料转载，2024 年：https://baijiahao.baidu.com/s?id=1797396613294228564

• 通信世界网，2026 年：https://www.cww.net.cn/article?id=614941