Spine-Leaf Architecture: Modern Data Center Design

2026年8月26日 LOG admin

Spine-Leaf（叶脊）架构是现代化数据中心网络的事实标准：所有 leaf 与所有 spine 全互联，任意两台服务器之间恰好两跳，配合 ECMP 让所有链路同时工作。本文对比传统三层架构，拆解 underlay/overlay 分层设计，并给出部署 Do's & Don'ts 清单，帮助规划可线性扩展的低时延数据中心网络。

不过，协议选型只是叶脊落地的前半程。真正决定一个数据中心能否按期上线、能否线性扩容、能否在三年后还能塞进更密的服务器，是机柜密度、布线策略、配电冗余、气流管理与部署节奏这些"物理层"实践。以下把叶脊架构放回真实的机房环境里，逐项拆解现代数据中心的设计实践。

Spine-Leaf 与传统三层对比

维度	Spine-Leaf	传统三层
东西向路径	恰好 2 跳（Leaf→Spine→Leaf）	4 跳（接入→汇聚→核心→汇聚→接入）
冗余链路	ECMP 全部激活	STP 阻塞约 50% 带宽
扩展方式	横向加 Spine/Leaf	纵向换更大设备
时延	可预测、低	随跳数变化

架构上的收益只有在物理设计与它匹配时才能兑现：ECMP 需要每条上行链路等速，两跳保证需要每个 leaf 都插满到所有 spine 的线；一旦布线或配电留下短板，逻辑上的全互联就只是纸面图纸。

Underlay：物理 IP 网络

underlay 是物理叶脊拓扑 + IGP（OSPF/IS-IS）或 BGP unnumbered。现代数据中心最常用 EBGP（RFC 7938，每 leaf 独立 ASN）；大园区/运营商规模可选 IS-IS + TI-LFA。

Leaf-1 (10.0.1.1) ──┬── Spine-1 (10.0.0.1)
                    ├── Spine-2 (10.0.0.2)
                    └── Spine-3 (10.0.0.3)

Overlay：VXLAN + EVPN

overlay 与物理拓扑解耦：VXLAN 把二层帧封装进 UDP 在 VTEP 间传输，让二层域跨整个 fabric 而不受 STP 限制；EVPN（MP-BGP）替代传统 VPLS/VPWS，提供基于 BGP 的 MAC 学习（无洪泛）、RT 多租户隔离、L2/L3 集成 VPN 与 VTEP 自动发现。

机柜密度与功率预算：先算电，再算端口

叶脊的 leaf 数量往往不是被端口数决定的，而是被每柜功率上限决定的。规划时按下面的顺序倒推，而不是先数服务器：

先定单柜功率密度。 传统通用算力柜 5-8 kW，风冷高密柜 15-20 kW，GPU 训练柜动辄 40-80 kW。单柜 15 kW 以上就必须考虑行级空调或液冷，否则再多 leaf 也喂不进电。
再定每柜服务器数与 ToR 端口比。 一个 1U 服务器通常用 2 个 25G 上联双归到一对 ToR leaf；每台 48×25G 的 leaf 大致支撑 20-24 台服务器，收敛比控制在 3:1 到 4:1。
最后核对 PDU 与断路器的余量。 A/B 两路各承担约 50% 负载，任一路故障时另一路要能顶到 100%，因此单路容量要按满负载而不是当前负载选型；列头柜的断路器额定电流要留 20% 余量。

把功率、端口、散热三张表放在一起看，才能回答"这个 POD 到底能放多少机柜"。只算端口数、忽略功率墙，是扩容时最常见、代价也最高的错误。

布线策略：预端接、预布线、少跳接

叶脊的布线与传统三层最大的不同是"全互联"意味着线缆数量随 leaf×spine 乘积增长。500 台 leaf、8 台 spine 的全互联就是 4000 根上行链路，靠现场熔接根本来不及。现代机房的做法是：

主干预端接 MPO/MTP 光缆。 用 12/24 芯 MPO 主干 + 分支跳线替代逐芯熔接，把 40G/100G 到 4×10G/4×25G 的扇出做成成品线，现场只做插拔。
结构化布线到列。 每个列配若干转接盒，leaf 与 spine 之间走列间主干，服务器到 ToR 走机柜内铜缆（DAC/AOC），把长距离光纤集中到少数主干上。
长度与衰减预算。 多模 OM4 在 25G 下约 100 m、100G 下约 70 m；超出就换单模。每段主干都要留衰减余量，VXLAN 封装又增加 50 字节开销，MTU 与光衰都要在部署前实测（见 VXLAN MTU and Fragmentation）。
标签与文档。 每一根主干两端贴标签，端口映射记录到设备台账；没有文档的全互联，在第一次故障时会变成灾难。

配电设计：双路、双 PDU、可维护

配电的冗余必须一路贯穿到服务器电源，任何单点都会让 A/B 供电形同虚设：

市电 A ── UPS A ── PDU-A ──┐
                          ├── 服务器电源1 / 电源2
市电 B ── UPS B ── PDU-B ──┘

A/B 两路应来自不同的市电引入，理想情况是不同变电所；同源双路只防单台设备故障，不防市电中断。
双电源服务器分别接 PDU-A 与 PDU-B；单电源设备用 ATS（自动转换开关）或列头柜的冗余输出，不要直接插单路。
UPS 容量按"任一路带满全负载"设计，电池续航按迁移到发电机的切换时间来定，通常是 5-10 分钟。
网络设备（leaf/spine）本身也要双电源、双路接入，并且与服务器分列供电，避免服务器满负载时把 leaf 的电源裕量吃掉。

制冷与气流管理：别让热空气回流毁了规划

高密机柜的第一杀手不是芯片温度，而是气流短路。风冷的机房里，叶脊 leaf 通常与服务器同柜或相邻列，若气流组织不当，leaf 会被服务器排风直接烤到降频甚至宕机：

冷热通道封闭。 所有机柜统一"面对面、背对背"排列，冷通道加封顶或冷通道门，把冷风锁在进风侧。
盲板与理线。 空 U 位全部装盲板，机柜后部理线不要堵塞排风；未封的 U 位会让冷风直接旁通回风，效率损失可达 30%。
高密柜方案。 单柜超过 15 kW 时，优先行级空调（in-row）或后门换热器（RDHx）；超过 30-50 kW 的 GPU 柜直接上液冷（冷板式），别再指望房间级精密空调。
监控进风温度。 在机柜进风侧与回风侧都布温度传感器，按 ASHRAE 推荐的进风 18-27℃ 设告警，不要只看房间平均温度。

部署节奏：POD 化上线与扩容规划

现代数据中心的叶脊不是一次建成，而是按 POD 分批上线。合理的节奏能显著降低风险：

先建一个 POD。 一个 POD 通常包含 2-4 台 spine、若干 leaf、独立配电与制冷单元，验证完布线、供电、散热、underlay/overlay 全链路后再复制。
预留扩容空间。 spine 机柜与主干光缆按最终规模预布，服务器与 leaf 按需增加；扩容时只插 leaf、加 server，不动 spine。
分批上线，灰度验证。 每个 POD 上线前跑通 underlay BGP 邻居、VXLAN 隧道、BUM 收敛与 ECMP 哈希，再接入业务。
备件与版本一致。 同一 POD 用同一型号、同一软件版本的 leaf，备件池按 POD 维护；跨版本混布会给排障带来无法估量的成本。

从 ToR 交换机选型到 POD 划分，端口密度、功率与散热能力要一起评估：1U 48×25G 的 ToR 适合通用服务器列，而 400G 上行、支持 32×400G 的 leaf 才配得上 GPU 集群的带宽需求（参考 Data Center ToR Switch Selection）。

部署 Do's & Don'ts

✅ Do's

同一 POD 用同一型号 leaf，简化配置与排障；
上行利用率规划 40-60%，收敛比 3:1 到 4:1 可接受；
underlay 用 BGP unnumbered，大 fabric 比 OSPF 简单；
leaf 开 uRPF strict 防跨租户欺骗；
leaf 成对用 MLAG 给服务器做双归；
布线用预端接 MPO 主干，配电按双路 A/B 满负载设计；
高密柜提前规划行级空调或液冷，别等服务器上架才发现过热。

❌ Don'ts

不要在叶脊 fabric 里跑 STP——VXLAN overlay 已消除环路需求；
收敛比不要超 4:1，重负载下性能急剧劣化；
不要打破全互联——部分互联会破坏两跳保证；
overlay 隔离别用默认 VLAN，一律走 VXLAN；
不要只算端口不算电——功率墙往往比端口先用尽；
不要把网络设备与高密服务器混在同一路配电上。

监控提示

任何一台 spine 利用率超过 70% 就是扩容预警信号；leaf 与 spine 间 BGP 建议启用 ttl-security 防会话劫持。物理层同样要监控：光模块收发光功率、机柜进风温度、PDU 单路负载率都应纳入统一监控视图，网络 telemetry 配合环境传感器，才能在过热或电源告警变成宕机之前发现问题。