［3］；在软硬件协同层 面 ，NVIDIA IsaacGym 平台支持百万智能体并行训 练 ［4］，OpenAI 与 Figure 联合开发的 Figure 01 已实现语 关键词： 具身智能；标准化；评测体系；应用场景 doi：10.12045/j.issn.1007-3043.2025.07.008 文章编号：1007-3043（2025）07-0046-07 中图分类号：TP18 文献标识码：A 决策与交互的重要路径，对通用人工智能的发展具有关键意义。梳理了具身智 能的核心能力维度，分析了当前标准化工作的进展与挑战，提出评测体系设计 原则与关键指标，探讨了典型评测方法与平台实践。尽管初步标准框架已形 成，但在多模态交互、群体智能等方面仍缺乏系统标准，评测工具亦亟待升级。 未来应完善分领域标准、建设权威评测平台、加快国际接轨，并同步推进伦理法 律规范，推动具身智能生态规范发展。 Abstract： Embodied Keywords： Embodied intelligence；Standardization；Evaluation system；Application scenarios 具身智能标准化研究与评测 方法探索 Research on Standardization and Evaluation Methodologies of Embodied Intelligence 魏家馨 1，马瑞涛

机能否解决行业真实问题，能否超越经典计算性能，哪些因素制约 量子计算应用，未来商用还需要在哪些方面补足功课，这都是产业 面临的开放性问题。本报告以部分行业计算需求为参考，提出量子 计算应用能力指标体系与评测框架，探讨评测基准、方法和标准化 需求，旨在为量子计算应用破局储备方案与工具。 本研究报告共分为五章，相关章节内容安排如下: 第一章：研究背景。简述量子计算应用面临的计算问题、量子 算法、量子硬件三角关系，指出本报告拟关注的问题。 算场景与问题，以及算力需求与部署需求。 第三章：量子计算应用能力体系框架。介绍了应用能力关键指 标以及技术成熟度指标。 第四章：量子计算应用能力评测方法。给出了量子计算应用能 力评测基准建议以及评测方案。 第五章：量子计算应用能力评测标准化需求。介绍了评测标准 化驱动力，并给出了标准化挑战与展望。 限于编写组专业能力以及量子计算发展的难以预期性，本报告 仅给出该课题的初步思考与建议，后续根据量子计算发展状况继续 ..... 21 四、 量子计算应用能力评测方法 ........................................................ 23 (一) 应用能力评测基本概念 .......................................................... 23 (二) 应用能力评测基本方法 .................

医疗健康大模型兴起， 但在应用中面临诸多问题。 本 白 皮 书 旨 在 全 面 剖 析 医 疗 健 康 大 模 型 应 用 的 各 方 面 情 况 ， 包 括 技 术 分 析 、 伦理法律评测、模型评测及提升措施等， 为其安全、有效、合规应用提供指导， 促进医疗行业智能化发展， 保障患者权益与医疗质量 。《 医疗健康大模型应用 伦理与安全白皮书 》 围绕医疗健康大模型展开多方面探 佳实践建议。 其二， 介绍通用大模型评测框架的任务定义 、 数据准备和评测方法 ； 概 述 医疗 健康 领域大模型评测的科学性 、 安全 性 、 合规性 、 伦理道德等方 面， 并 列 举 中 文 医 疗 健 康 评 测 集 ； 以 Med Bench 和 MedEth icEval 为 例 展 示评测实践过程。 其三， 聚焦 于医疗健康 大模型 医疗大模型评测 3.1 通用大模型评测框架 3.1.1.任务定义 3.1.2.数据准备 3.1.3.评测方法 3.2 大模型在医疗健康领域的评测概述 3.2.1.科学性：从通用能力到医学专业能力的提升 3.2.2.安全性：从潜在风险识别到安全输出保障 3.2.3.合规性：确保法律与行业标准的严格遵守 3.2.4.伦理道德：从责任性到文化适配的全面评估 3.2.5.中文医疗健康评测集 3.3

2025 年数字政府服务能力 暨第二十四届政府网站创新发展 调查研究总报告 中国软件评测中心 （工业和信息化部软件与集成电路促进中心） 二〇二五年十二月 版权所有，未经许可不得转载引用  组织实施单位 中国软件评测中心（工业和信息化部软件与集成电路促进中心）  评估工作组 总负责人：刘龙庚 1.研究小组 组长：戚 泉 副组长：崔雪峰 王庆蒙 成员：潘春燕 范海勤 张建光 cn 王庆蒙 电话：（010）60738276 邮箱：wangqingmeng@cstc.org.cn  官方网站 中国软件评测中心：www.cstc.org.cn 赛 迪 评 估：www.ccidegov.cn  官方微信公众号 目 录 中国软件评测中心 报告编号：DGPE20251218A 第 I页 目 录 调查对象与样本 ......................... ............................110 第四节 优秀创新案例调查结果 ......................................114 目 录 中国软件评测中心 报告编号：DGPE20251218A 第 II页 第七章 结果分析 ......................................................123 第一节

判能力，结 合开发者行为分析持续优化编码范式。深度融合智能评审与 CI/CD 流 水线，形成从设计意图到代码实现的闭环知识沉淀。 （3） 测试智能化聚焦 AI 驱动测试流程自动化与 AI 系统评测。 一方面通过 AI 赋能打通全链路智能化测试闭环，通过智能需求分析、 智能用例生成、缺陷根因分析等能力实现高效精准验证；另一方面强 化对 AI 系统自身的深度测试，形成“以 AI 测 AI”的自我进化闭环。 AI过程中，理解、归纳和执行是其核心能力的基础。 通过对认知能力、规划能力、表达能力和记忆能力的综合评测，深入 分析智能体如何有效理解用户意图、制定合理的响应计划、进行清晰 的交流，以及在多次交互中保持对用户信息的记忆，以提升用户体验 和系统的智能化水平。 图 7 智能体评测建设示意图 智能体评测的实施流程，主要分为分析阶段，开发阶段，测试阶 段，调优阶段，发布阶段五个阶段。分析阶段，收集并整理业务相关 用户数据的变化，防止线上异常或故障的发生。 效果测评在智能体评测过程中，理解、归纳和执行是其核心能力 的基础。效果评测维度，通过对认知能力、规划能力、表达能力和记 忆能力的综合评测。深入分析智能体如何有效理解用户意图、制定合 理的响应计划、进行清晰的交流，以及在多次交互中保持对用户信息 的记忆，以提升用户体验和系统的智能化水平。效果评测工具，利用 大模型（LLM）或者自然语言处理（NLP）模型，从结构化或非结构化

服务支持平台 （代码标准化、公共数据库、数据交换）（决策支持系统）（数字资源库） 第二部分 智慧校园中的信息化技术 公共基础支撑平台 公共安全 教育数据支撑平台 评 教 智慧教学系统 教学评测与学习 系统 考 阅卷 / 考试分析 管 智慧管理系统 智慧教育核心应用 + = 校园一卡通 数据增量抽取方案 数据源端统一方案 智慧 教学 智慧教室 01 智慧教室效果图 智 第三步：零件整 理 第四步：物理搭 建 第五步：软件编 程 第六步：成品展 示 06 作品展示 公共基础支撑平台 公共安全 教育数据支撑平台 评 考 管 教 智慧教学系统 教学评测与学习 系统 阅卷 / 考试分析 智慧管理系统 智慧教育核心应用 教育质量综合评估系统 以《教育部关于推进中小学教育质量综合评价改革的意见》（教基二〔 2013 〕 2 号文件为依据） 品德 综合评价体系不仅仅是结果，更是不断优化提升的过程 分析 处理 提升 评价 采集 数据 是基础，评价 是手段，提升 是目的 02 综合评价体系 数据采集 数据分析 可视化决策 个人评测报告 错题本 知识点拆解 优质资源推送 个性化的提升计 划 有效性评测 基于大数据的资源有效性评价 个人学习空间 线上线下相结合的测试手段 数据调用 对计划执行和成效的监控 智能终端 开放的教育资源平台 自服务的资源

际 的各类异构算力芯片齐头并进。 然而，因芯片架构不同、通信协议不统一、算存传能力差异而导致的异构算 力碎片化、生态割裂及协同效率不足等问题日益显现。构建统一计算、统一通信、 统一调度和统一评测的异构算力协同体系，实现异构算力间的无感知计算、无阻 碍通信协作、资源的高效调度和自动化测评，是推动异构算力基础设施迈向新阶 段的关键路径。 本白皮书通过系统性梳理算力产业发展现状、异构算力协同体系架构、关键 .........................................................................................15 3.4 统一评测体系................................................................................................. ASIC、GPGPU 不同路线算力差异，北向承载多场景、多行业、多模态大模型，构建异构算 力协同生态体系，实现异构算力的无感知计算、无阻碍通信、无闲置调度和无差异评测。异 构算力协同生态体系包括统一计算、统一通信、统一调度和统一评测四方面，通过四个核心 维度的统一化实现异构算力资源的深度融合。 图 异构算力协同体系架构 （1）统一计算：打破异构壁垒构建算力融合底座 统一计算是异构算力协

2014 年首次参加 IWSLT 国际口语机器翻译评测比赛获得第一； 2018 及 2021 IWSLT 第一名； 2021 年 8 月， IWSLT 比赛，科大讯飞与中科大语 音及语 言信息处理国家工程实验室团队在同声传译任务中包揽三个赛道的冠军） 机器口语评测技术（ 2008 年中文口语评测首次达到人类专家水平， 2012 年英文口语评测首次达到人类专家水平） 声音定位与检测技术（ DCASE 第一名） 机器阅读理解技术（ 2021 年， XTREME 中刷新世界纪录） 作文自动评阅技术（ 2018 Chinese Grammatical Error Diagnosis 第一名） 语义评测技术（ 2019 Math Question Answering 第一名） 知识图谱技术技术（ 2022 年 2 月，科大讯飞以第一名的成绩登顶世界顶级人工智能挑战赛 Open Graph Benchmark 2018 IDRiD 眼底图分析竞赛 MA 分割任务 第一名） 图像语义分割（ 2017 首次参加国际自动驾驶领域权威评测集 Cityscapes 获得第一 ， 2018 及 2021 再获第一名） 手势识别（ 2020 The 20BN-Jester Dataset 手势识别评测第一名） 科大讯飞掌握国际先进的智能语音和人工智能技术 2018 年 -2023 年，科大讯飞共夺得61 项国际人工智能大赛冠军