焊接大语言模型的评价方法

本文件规定了焊接大语言模型(welding large language model,Weld LLM)的评价原则、评价维度与指标体系、数据集构建方法、评测流程、评分与等级划分方法、检验记录要求,并提供了评价报告格式。本文件适用于以自然语言处理为核心的焊接大语言模型的评价,包括通用型大语言模型在焊接领域的能力评估,以及面向焊接领域开发的专用大语言模型性能测试与验证。本文件不适用于对非自然语言处理类的焊接人工智能系统(如基于规则的专家系统、单纯的图像识别算法)的独立评价,但可为此类系统与LLM 融合后的整体性能评估提供参考。

北京理工大学(珠海)、山东大学、北京博清科技有限公司、中焊科技发展(哈尔滨)有限公司、天津市特种设备监督检验技术研究院、重庆三峡学院、南昌航空大学、上海中巽科技股份有限公司、江苏北人智能制造科技股份有限公司、天津大学、唐山松下产业机器有限公司、哈尔滨职业技术大学、北部湾大学、广西柳工机械股份有限公司、哈尔滨华德学院、中国兵器工业集团航空弹药研究院有限公司、南昌职业大学、福建省特种设备检验研究院、黑龙江科技大学、无锡合泰教育咨询有限责任公司、坤智大数据科技(哈尔滨)有限公司、威海职业学院、黑龙江工程学院