人工智能 深度学习算法评估规范

本标准提出了人工智能深度学习算法的评估指标体系、评估流程，以及需求阶段评估、设计阶段评估、实现阶段评估和运行阶段评估等内容。 本标准适用于指导深度学习算法开发方、用户方以及第三方等相关组织对深度学习算法的可靠性开展评估工作。

本标准的主要借鉴国际标准DO-178C-2011 Software Consideration in Airborne Systems and Equipment Certification 的思想，针对算法的不同阶段定义了多个不同的目标来满足不同的等级，同时实现了面向深度学习算法可靠性指标体系的前向和后向追踪的理念，使得对算法研发过程的验证与评估变得更容易，从而达到评估可靠性的目标。本标准结合人工智能深度学习算法的特点及传统的可靠性评估的体系及流程，制定了标准的内容，主要包括以下方面：算法可靠性评估指标体系基于深度学习算法可靠性的内外部影响考虑，结合用户实际的应用场景，本标准提出了一套深度学习算法的可靠性评估指标体系。指标体系包含7个一级指标和20个二级指标。算法可靠性评估流程依据深度学习算法可靠性评估指标体系，对深度学习算法开展可靠性评估工作。可靠性评估流程包括确定可靠性目标、选择评估指标、需求阶段的评估、设计阶段的评估、实现阶段的评估、运行的阶段评估及得出评估结论这七个阶段。算法需求、设计、实现和运行阶段的前提条件、输入、关键活动及输出的内容面向深度学

中国电子技术标准化研究院、中国科学院软件研究所、上海计算机软件技术开发中心、北京航空航天大学、华东师范大学、中国科学院计算技术研究所、军事科学院国防科技创新研究院、国防科技大学、卡索(北京)科技有限公司、北京百度网讯科技有限公司、浙江蚂蚁小微金融服务集团有限公司、深圳前海微众银行股份有限公司、顺丰科技有限公司、深圳市优必选科技有限公司、北京京东尚科信息技术有限公司、深圳赛西信息技术有限公司、数据地平线（广州）科技有限公司