| 业务类型 | 网络部署要点 | 标准落地验证项 |
|---|---|---|
| 大模型训练(千卡集群) | 采用CLOS三级架构,Spine层交换机启用PFC on priority 3/4,Leaf层绑定RoCE QP至特定TC;所有服务器网卡开启DCQCN+ECN联合反馈 | NCCL all-reduce带宽达182Gbps(理论200Gbps×91%),梯度同步延迟抖动<0.3μs |
| HPC分子动力学模拟 | 部署无损切片(VLAN+PFC+ECN三重隔离),计算节点间直连链路启用FEC-BASE-R,禁用LACP聚合 | 10GB文件MPI-IO写入延迟标准差≤1.2μs,PFC pause帧捕获率100%匹配DCBX协商结果 |
| 分布式块存储(Ceph RBD) | OSD节点网卡启用TIMELY算法,MON节点与OSD间设置独立PFC优先级5,ECN阈值下调至缓存深度×70% | 4K随机写IOPS稳定≥120k,99.99%延迟≤200μs,无ECN误标记导致的客户端重连 |
现象:ECN标记后PFC仍高频触发,导致流控风暴。 对策:按YD/T 4027-2022第6.2.3条,将ECN阈值设为PFC XOFF阈值的0.85倍,且PFC XON恢复点需低于ECN阈值5%缓存深度。
现象:部分国产网卡在TSO/LRO开启时UDP校验和错误。 对策:强制关闭LRO,TSO仅限MTU≥1500场景启用;通过ethtool -K eth0 tx off gso off校验卸载状态,确保rx_csum_errors=0。
现象:不同业务共享同一物理端口时PFC pause帧跨优先级干扰。 对策:按标准附录C,采用基于TC的PFC资源预留,每个TC分配独立缓存分区(最小128KB),并通过DCBX TLV 0x0003通告缓冲区容量。
现象:Leaf层标记ECN成功,Spine出口未见CE标记。 对策:检查Spine芯片ECN使能寄存器(BCM Tomahawk4:REG_ECNCtrl=0x1;Cisco Nexus 9300:hardware profile ecn enable),并确认入口ACL未过滤IP ECN字段。
| 标准号 | 标准名称 | 状态 | 发布日期 | 实施日期 |
|---|---|---|---|---|
| YD/T 3119-2016 | 光传送网(OTN)带宽无损调整技术要求 | 现行 | 2016-07-11 | 2016-10-01 |