高速链路兼容性不应按“产品列表”管理,而应按“端到端链路对象”管理。一个可复现的链路对象至少包含:A端设备/端口、A端固件、互连介质 OPN、距离、B端设备/端口、协议、Port Mode、Lane Mapping、FEC、AN/LT 和测试结果。
1. Port Form Factor
OSFP、QSFP112、QSFP-DD、QSFP56、QSFP28 的差异不仅是机械尺寸。需要核对设备端口的 cage 类型、模块散热方式、支持的 SerDes 速率和 lane 数。机械适配器只能解决插接问题,无法改变设备的电气与协议能力。
2. Lane Rate 与总速率
总速率由 lane 数与单 lane 速率组合而成。同为 400G 的端口,可能采用不同的通道结构。排障时应先读取设备实际 Port Mode,而不是只看产品标称值。
3. Protocol 与 Port Type
Ethernet、RoCEv2 和 InfiniBand 的配置路径不同。RoCE 仍属于以太网链路,需要处理 MTU、PFC/ECN、QoS 等参数;InfiniBand 则需要核对 IB port state、LID/GID、Subnet Manager 等。对于 VPI 设备,应确认当前端口工作模式和 PSID/固件能力。
4. FEC、AN 与 Link Training
高速 PAM4 链路通常对 FEC 有明确要求。两端 FEC 模式不一致,可能导致无法 Link Up、持续训练或高误码。自动协商与链路训练是否启用,也应按设备和介质要求配置。
5. Optical Standard 与 Power Budget
独立光模块需要核对 IEEE/MSA 标准、波长、单模/多模、连接器和光功率预算。BiDi 模块通常为互补波长对;并行光和双工光在 MPO/LC 连接器与布线结构上不同。测试时建议读取 DOM/DDM 的 Tx/Rx Power、Temperature 和 Alarm。
6. Breakout 与 Lane Mapping
Breakout 是设备、线缆、端口配置与对端共同支持的能力。典型检查顺序:
1. 查询交换机端口可用 breakout mode;
2. 确认 NOS 与交换机固件版本;
3. 确认线缆的 fanout 映射;
4. 确认对端 NIC/端口支持目标子速率;
5. 对齐 FEC、AN/LT 与端口编号;
6. 逐个子端口验证 link、错误计数与吞吐。
7. 验收建议
不要只记录“端口亮灯”。建议至少记录:
- 实际协商速率与 Port Mode;
- PCS/FEC corrected 与 uncorrectable counter;
- CRC、symbol error 与 link flap;
- 模块温度、Tx/Rx Power;
- RDMA 或以太网吞吐基线;
- 30分钟以上持续压力与重启恢复;
- Breakout 子端口全部独立验证。
最终目标是让每条链路都具有清晰的配置证据和测试证据。只有这样,后续出现降速、掉链或性能波动时,才能快速区分是设备、介质、配置还是环境问题。