人工智能 关键基础技术 大模型推理平台技术要求

本文件规定了大模型推理平台技术要求，主要包括模型压缩、模型部署、模型推理、平台服务与管理等核心环节的技术能力。本文件适用于为使用大模型推理平台进行大模型部署、推理、服务的机构提供功能参考

中国信息通信研究院、北京百度网讯科技有限公司、华为技术有限公司、阿里云计算有限公司、上海商汤智能科技有限公司、中移九天人工智能科技（北京）有限公司、北京航空航天大学、北京大学、北京九章云极科技有限公司、天翼云科技有限公司、之江实验室、中国电信股份有限公司北京研究院、中国移动通信集团有限公司、蚂蚁科技集团股份有限公司、武汉长江计算科技有限公司、浪潮电子信息产业股份有限公司、中兴通讯股份有限公司、中电信数智科技有限公司、京东科技信息技术有限公司、联通数字科技有限公司、中国电子科技集团公司第十五研究所、北京工业大学、深信服科技有限公司、济南浪潮数据技术有限公司、中科世通亨奇（北京）科技有限公司、人民出行(南宁)科技有限公司、北京天融信网络安全技术有限公司、南京新一代人工智能研究院有限公司