YD/T 3773-2020 标准解读

一、核心基础术语释义

• 分布式批处理平台：指依据YD/T 3773-2020第3.1条定义，由资源管理、作业调度、任务执行、数据存储与监控告警等模块构成的软件系统，支持将大规模静态数据集划分为多个子任务，在多节点集群上并行执行、有序聚合结果，并保障端到端处理语义（至少一次/恰好一次）的计算基础设施。
• 批处理作业：依据第3.2条，指具有明确输入数据集、处理逻辑（如MapReduce、SQL、Spark DAG）、输出目标及生命周期（提交、调度、运行、完成/失败）的原子性计算单元；其执行不依赖实时数据流输入，且具备可重入性与幂等性设计前提。
• 处理时延：依据第3.5条，指从作业提交至全部任务成功完成所经历的时间间隔，单位为秒；该指标在标准中特指“端到端批处理时延”，不含人工干预等待时间，仅计入系统内部调度、资源分配、任务执行及结果落盘耗时。
• 吞吐量：依据第3.6条，指单位时间内平台成功完成的作业数量（作业数/小时）或处理的数据量（GB/小时），须在指定数据规模、集群配置及SLA约束下实测获得，不得采用理论峰值估算。

二、专项技术术语解析

• 容错恢复点（RPO）：依据第5.2.3条，指平台在发生节点故障时，可保证不丢失的最近一次有效状态快照对应的数据边界；RPO值为0表示无数据丢失，非零值以字节或记录数为单位量化，须通过检查点（Checkpoint）机制实现。
• 作业隔离度：依据第5.3.1条，指不同租户或业务线提交的作业在CPU、内存、磁盘IO及网络带宽等资源维度上的相互约束能力；标准要求隔离度≥95%，即任一作业资源占用超配额5%时，不得导致其他作业性能下降超10%。
• 元数据一致性等级：依据第6.1.2条，分为强一致（所有读操作返回最新写入值）、最终一致（允许短暂不一致，但保证在限定窗口内收敛）两类；平台须明确定义各元数据服务（如作业注册表、依赖关系图）所承诺的一致性等级，并通过CAP权衡说明实现机制。
• 血缘追踪粒度：依据第6.4.1条，指平台可识别并记录的数据加工链路最小单元，标准强制要求支持字段级血缘（Field-level Lineage），即能精确标识输出字段源自输入数据集的特定列及对应转换函数。

三、易混淆术语区分

四、术语应用规范

1. 在测试用例文档中，“作业失败率”须统一定义为：（失败作业数 / 总提交作业数）×100%，分子仅统计因平台缺陷导致的失败（排除用户代码异常、权限错误等外部原因），且失败判定须依据日志中ERROR级别且含PLATFORM_FAULT关键字的堆栈。
2. 在接口协议描述中，“资源申请参数”必须使用标准术语：cpu_cores（整型，单位：核）、memory_mb（整型，单位：MB）、disk_gb（整型，单位：GB），禁用“CPU”“内存”“硬盘”等非标准化简称。
3. 在测试报告结论页，性能指标表述须严格遵循格式：“吞吐量：X.X GB/小时（测试数据集：TPC-DS SF100，集群规模：32节点，JVM堆内存：16GB/节点）”，括号内要素缺一不可。
4. 在一致性声明中，“最终一致”必须同步注明收敛窗口上限（如“≤30秒”），且该数值须通过第7.2.4条规定的收敛性压力测试验证；未标注窗口值的声明视为无效。