GPU 集群最常见的浪费，不是买不到卡，而是网络跟不上：卡在等资料，交换机在排队，整体吞吐被一条 uplink 卡死。这篇指南不讲型号推荐，讲判断顺序——先问规模，再问互连，最后才谈线缆与模块。
我们不报库存，也不假设你一定要买某个品牌。文中提到的厂商架构仅作公开资料说明，不是本公司的交付项目。
为什么先算网络，再算卡
一台服务器内部靠 NVLink／NVSwitch 互连，带宽以 TB/s 计；跨机之间走网络，带宽以 100G／200G／400G 计，两者差一个量级。
结果是：集群越大，跨机通信占比越高，网络就越容易成为瓶颈。单机跑得快的配置，接到 8 台以上就可能因为东西向流量掉速。选卡之前先确认：有几台机、每对机之间要交换多少资料、能接受多少延迟。
三个规模门槛
| 规模 | 典型情况 | 网络重点 | 常见错法 |
|---|---|---|---|
| 1–2 台 | 开发、微调、单机推理 | 机内互连足够，对外只需一般以太网 | 为单机买高阶交换，用不到 |
| 8–32 台 | 小集群训练、多人共用 | 东西向流量明显，需要低延迟 fabric | 只升级服务器，交换仍是 10G／25G |
| 64 台以上 | 大模型训练、多租户 | fabric 设计、拥塞控制、可预测性 | 用堆叠式接入充当骨干 |
门槛不是绝对数字，而是“跨机通信开始主导”的位置。跨过去之后，网络设计就要当成一级工程，而不是服务器的配件。
互连选项，差别在哪里
| 选项 | 用途 | 优点 | 代价／注意 |
|---|---|---|---|
| NVLink／NVSwitch | 机内（scale-up） | 带宽最高、延迟最低 | 受限于机箱与厂商生态，跨机不适用 |
| InfiniBand | 跨机 fabric（scale-out） | 延迟低、拥塞管理成熟、行为可预测 | 需专用交换与管理工具；现役世代可参考 NVIDIA Quantum-X800 厂商公开架构文件 |
| RoCEv2（RDMA over Converged Ethernet） | 跨机 fabric，走以太网 | 沿用既有以太网技能与设备，成本结构较灵活 | 需无损调校，调不好会比普通以太网更差 |
| 以太网 fabric（如 NVIDIA Spectrum-X） | 跨机以太网网络 | 延伸以太网生态、统一管理 | 属厂商公开架构，具体功能与许可需向厂商文件核实 |
| 一般以太网（TCP） | 管理网、存储、对外 | 成本最低、最通用 | 延迟与 CPU 开销较高，不适合大规模训练 |
实务上不少集群是混合的：训练走 IB 或 RoCEv2，管理与存储走一般以太网，两张网分开；好处是备份任务不会挤爆训练流量。
RoCEv2 要调的三件事
RoCEv2 的门槛不在买设备，在调校。三件事没做好，效能会比普通以太网更差：
- PFC（Priority Flow Control）：让特定优先级在拥塞时不丢包。设定要与两端一致，错一个端口就可能在整条路径上造成连锁暂停。
- ECN（Explicit Congestion Notification）：用标记而非丢包来通知拥塞。阈值设得太宽没作用，设得太窄会令吞吐掉下来。
- 队列与缓冲分配：把 RDMA 流量放进独立队列，避免与一般流量争同一块缓冲。
调完要验，不是调完就算：用实际训练任务或流量发生器测，观察是否有 PFC 风暴、是否有过度重传。没有量测的调校，等于没调。
100G／200G／400G：光模块与线缆怎样选
先看距离与环境，再看速率：
- 同一机柜、3 米内：DAC 直连铜缆最省，功耗低、延迟低；缺点是粗、难布线、距离一长就不行。
- 机柜之间、10 米内：AOC 有源光缆较合适，比 DAC 细、比光模块加光纤简单。
- 跨行、跨房、更远：光模块 ＋ 光纤，这里才需要认真选模块类型（多模／单模、传输距离、接口封装）。
速率对应的封装大致标准化（100G 常用 QSFP28，400G 常用 QSFP-DD／OSFP），但同一速率下仍有不同距离等级与兼容性差异。选模块时对齐三项：交换机端口规格、光纤类型、实际距离；任一不对，link 就起不来。
400G 与 800G：何时值得考虑
800G 相关速率已由 IEEE Std 802.3df-2024 规范；从市场观察，400G 在现有与在建部署中仍常见混用，这不是库存声明。800G 一般在 GPU 节点密度高、东西向流量已逼近 400G 上限、且交换与光纤配套都到位时才值得考虑；新集群不应预设上 800G。
QSFP-DD 与 OSFP：买家要分别什么
- QSFP-DD：沿用 QSFP 外形，取向密度与既有机箱兼容。
- OSFP：体积较大，散热与供电余量通常较宽松，高功耗模块较常用。
选型时要对齐端口外形、模块功耗与机柜散热；只看速率对得上，不等于机械与热环境可行。
兼容模块可以用，但要把“兼容”写进采购条件：哪些平台、哪个固件版本、出事怎样换。细节见兼容光模块选型指南与兼容光模块采购。
布线与机柜：四个容易忽略的细节
- 极性：MPO／MTP 多芯光纤有极性类型之分，两端接法不对，整条链路不通。
- 气流方向：交换机有前后与后前两种气流，要与机柜冷热通道一致；混装会令部分设备过热。
- 弯曲半径：高密度光纤束在理线时容易过度弯折，短期看不出，长期衰减。
- 标签与记录：端口对应表要落纸；64 台以上集群没有端口表，等于每次故障都要重新摸一遍。
容量规划：先量东西向流量
采购前最有价值的一步是量而不是猜：尖峰东西向流量（训练启动与 checkpoint 时段模式不同）、接入到骨干的超订比例，以及与训练抢路的存储流量。没有历史数据的新集群，可用“每台机网络端口数 × 速率 × 预期收敛比”估上限再留余量。
常见误判与二手检查
- 以为换卡就会快：卡升级了，交换仍是旧速率，整体不会改善。
- 用堆叠交换做骨干：堆叠适合接入，不适合当 fabric 骨干。
- RoCEv2 当普通以太网设：不做无损调校，结果比原来更慢。
- 只看端口数，不看缓冲：高密度小缓冲交换在突发流量下容易丢包。
二手 100G+ 设备可以用，但比一般交换机多查三项：固件版本与兼容性、逐端口实测（光口插模块实测 link）、授权与支持状态（二手授权可能不可转移）。判断方法见二手采购指南。
下一步
- 评估现有网络能否承载 GPU 集群：联络与报价，或电子邮件 [email protected]
- 选兼容光模块：兼容光模块选型指南、兼容光模块采购
- 二手交换与路由：二手 Cisco／二手 Juniper
- 淘汰下来的旧机：清场与 ITAD 回收
- 机房扩容与退场入口：数据中心与机房
说明：本文为技术入门与选型框架，不构成对任何型号、效能数字或兼容性的保证。实际效能取决于拓扑、固件、调校与工作负载；采购条件、质保与责任以报价单及服务条款为准。兼容光模块为兼容产品，并非原厂模块，质保一般为 1 年。
FAQ
Q：一定要用 InfiniBand 吗？ A：不一定。数十台以内、团队熟悉以太网，RoCEv2 调校得宜也可行；重点是做到无损与可预测，而不是用哪种协议。
Q：800G 是新集群预设吗？ A：不是。先看 400G 是否已逼近上限、配套是否到位；800G 属更高密度阶段的选项，标准依 IEEE Std 802.3df-2024。
Q：兼容光模块可靠吗？ A：可以用，但要选对型号并把条件写进采购：对应平台、固件版本、退换安排。