YD/T 3761-2020 标准解读

适用主体：面向电信运营商、金融、政务等行业的数据集成工具研发厂商、系统集成商及大数据平台建设单位；
适用场景：支持结构化/半结构化/非结构化数据源的批量抽取（Batch）、实时流式接入（Streaming）、跨域数据同步（如DB→HDFS→Kafka→数仓）、元数据驱动的ETL任务编排与调度；
排除条件：不适用于纯内存计算框架（如Spark Core原生API调用）、无任务治理能力的脚本级数据搬运工具、未接入统一元数据中心的孤立数据管道、以及仅支持单点直连且无血缘追踪能力的简易导出工具。

连接器兼容性：须预置不少于12类标准连接器（JDBC/ODBC/FTP/SFTP/Kafka/HBase/Hive/MySQL/Oracle/PostgreSQL/SQL Server/MongoDB），每类连接器需通过YD/T 3761-2020附录B中定义的8项基础能力测试（含断线重连、字段类型映射一致性、NULL值处理、大字段分片传输）；
任务可靠性：批量任务失败重试次数≥3次，间隔时间可配置（最小粒度10s），重试后仍失败须触发告警并生成错误快照（含源端SQL/目标端分区路径/失败堆栈）；
血缘追踪精度：字段级血缘覆盖率达100%，须支持从源表字段→转换逻辑（含SQL函数、UDF调用链）→目标表字段的全链路追溯，血缘关系存储延迟≤5s；
性能基准：在16核32GB内存集群节点上，单任务吞吐量≥50MB/s（文本格式，1KB平均记录），端到端延迟（从源数据就绪至目标写入完成）≤30s（95%分位）；
安全控制：密码凭证须经国密SM4加密存储于独立密钥库，连接参数中禁止明文出现password、accessKey等敏感字段；审计日志须留存≥180天，包含操作人、任务ID、执行时间、源/目标地址、数据量字节。

行业	业务需求	标准落地方式
电信运营商	将BOSS系统Oracle账务表（日增量2TB）按用户维度同步至Hive数仓，要求T+1准实时、字段级稽核、异常自动熔断	采用JDBC连接器配置断点续传+字段校验开关；启用YD/T 3761-2020第5.4.2条“数据一致性校验”规则，对主键字段执行MD5比对；当单批次校验失败率＞0.001%时，自动暂停下游任务并推送钉钉告警
省级政务云	整合人社、医保、民政3个异构数据库，构建人口主题库，需自动识别身份证字段并建立跨库血缘	部署元数据采集代理，依据标准第4.2.3条“敏感字段自动标注”规则识别身份证正则模式；血缘图谱生成后，强制关联至省级数据资源目录编码体系（符合GB/T 31076-2014）
城商行	信用卡交易流水（Kafka）实时写入Flink作业，再归档至Greenplum，要求端到端延迟＜5s且支持精确一次语义	启用Kafka Source连接器的enable.auto.commit=false配置，结合Greenplum Sink的两阶段提交（2PC）实现，满足标准第5.3.1条“流式任务事务一致性”要求

难点1：异构数据库字段类型映射失真（如Oracle NUMBER(10,2)→Hive DECIMAL(10,2)精度溢出）
对策：强制启用连接器“类型推导白名单”，依据标准附录C中《常见类型映射对照表》配置转换规则；对高精度数值字段，增加前置校验SQL（SELECT MAX(LENGTH(TO_CHAR(col))) FROM src）动态调整目标端精度
难点2：跨网络域数据同步时SSL握手超时导致任务卡死
对策：在连接器配置中显式设置socketTimeout=30000、connectionTimeout=10000，并启用标准第5.2.4条“连接健康探针”，每60s向源端发送SELECT 1检测可用性
难点3：多租户环境下血缘图谱混淆（A部门任务误标B部门字段）
对策：按标准第4.3.2条实施“租户隔离命名空间”，所有任务ID、元数据对象名强制附加租户编码前缀（如t_abc_user_name），血缘存储层按前缀分库分表
难点4：实时任务因Kafka分区扩容导致消费偏移错乱
对策：禁用自动rebalance，改用静态分配策略（ConsumerAssignor），并在任务启动时依据标准第5.3.3条校验partition数量与消费者实例数的整除关系，不满足则拒绝启动

标准解读不等同于原文，以标准原文为准

更多解读