• 赞助方 • 华为公司 中文人机对话技术评测 (SMP-ECDT III) 11 SMP ECDT III 委员 会 • 主席 • 张伟男 • 哈尔滨工业大学 • 委员 • 陈志刚，科大讯飞 • 车万翔，哈尔滨工业大学 • 张轶博，华为 • 黄民烈，清华大学 12 SMP-ECDT III • （深度）自然语言理解评测 • 领域 - 意图 - 语义槽 • 例如：“我想订上海飞往北京的航班” 例如：“我想订上海飞往北京的航班” • 评测指标： • Sentence ACC • 领域、意图识别和语义槽填充全做对！ • 特点（难点） • 符合任务型对话的真实应用场景 • 多领域性、多意图性 http://conference.cipsc.org.cn/smp2019/evaluation.html 13 任务一结果排名（ 2019.07.15 ） SMP-ECDT III III • 个性化对话生成评测 • 给定特定用户属性，生成符 合 该属性的个性化对话回复 • 特点 • 百万级数据集 • 客观 + 主观评价 • BLEU 、 Perplexity 、 Distinct • Fluency 、 Personality 、 Appropriateness http://conference.cipsc.org.cn/smp2019/evaluation

间的差距，优化控制策略。构建的基准测试和评估指标具有明确的难 度分级，能够满足不同领域和层次的研究需求。基于人形机器人的研 究进展，仿真测试在国内外都还处于起步阶段，整体上对仿真测试在 平台、建模、数据集和场景等方面缺乏规范化的评测体系。 2.2.9 操作系统 传统机器人的操作系统侧重于控制机械或自动化设备，仅关注运 动控制和任务执行。然而面向人形机器人的操作系统需处理十分复杂 的运动协调、人机交互、环境感知等任务。因此，为了使人形机器人 53 他关于 RACA 机器人、背部支撑机器人、下肢穿戴机器人的标准如 ISO 5363:2024、ISO 18646-4:2021、ISO 18646-6 等也可为人形机器人性 能要求与评价评测标准提供参考。ISO 19649:2017 定义了移动机器人 相关术语，可为未来制定人形机器人术语定义标准提供参考。 IEEE 所发布的机器人本体论方面标准如 IEEE 1872-2015、IEEE 部件（和）MPU 等，侧重于制定通用技术要求、兼容和互联互通规范、 测试认证与性能评测标准、安全和伦理标准等。 人形机器人软件提供方为人形机器人的系统和软件开发提供核心 技术支持，包括开发操作系统、应用软件、AI 模型和算法，确保系统 的可操作性、安全性与可靠性。侧重制定通用技术要求、兼容和互联 互通规范、测试认证与性能评测标准、安全和伦理标准等。 人形机器人制造商（整机）确保产品质量与安全，同时需遵循相

18 国产数字化升级标杆实践报告 - 18 国产数字化升级标杆实践报告 腾讯云 TI 平台是覆盖大模型和传统 Al 的一站式机器学习平台，为客户提供从数据准备、模型精调、效果评测到模型部署的全流程工 具链，帮助用户以更高效率精调并部署真正可用的大模型。同时，腾讯云 TI 平台还为客户提供面向异构算力的集约管理能力，能帮 助用户全面管理、精细调度、高效运维国产算力，加速各行业数字化转型。 产品架构 大模型广场 快速试一试 一键部署大模型，快速体验推理效果 一键精调 预置镜像和模型，一键启动精调训练 数据 训练 调试 部署 应用 模型评测 模型部署 训练工坊 数据中心 三阶段评测 轻量体验，客观评 测，主观评测 多模型对比 支持雷达图可 视化 内置推理加速 Angel推理框架加 速，加速比可达2倍 大模型调用 统一的调用API及 体验工具 分布式稳定训练 持画布式灵活编排工作流，可快速将企业系统 API 接入智能体，智能体输出更稳定可控。 全面的智能体开发框架 提供 LLM+RAG 、Multi-agent、Workflow 等多种智能体开发框架，支持智能体配置 - 评测 - 发布 - 调优一站式工具链，助力企业降低 智能体构建门槛。 丰富的智能体开发资源库 预置精选官方插件及 MCP 插件，支持含智能文档解析、多轮改写、embedding 等多项原子能力灵活接入，提供

......... 5 图 4 ：产品增长 1 亿用户所需时间 ....................................................... 5 图 5 ：主要模型评测 ................................................................... 7 图 6 ：主要模型 API 定价 ........... 请务必阅读末页声明。 1. DeepSeek 推动模型平权，关注 AI 终端及算力领域 DeepSeek 以更低成本提供对标 o1 模型。2024 年 12 月，DeepSeek V3 首个版本上线，在 多项评测成绩超越了 Qwen2.5-72B 和 Llama-3.1-405B 等开源模型，并在性能上和 GPT-4o 以及 Claude-3.5-Sonnet 不分伯仲，训练成本仅约为 558 万美元。1 tokens 输入为 0.1 美元，每百万 tokens 输出为 0.4 美元，相较于 DeepSeek R1 具备较强竞争力。 电子行业深度报告 7 请务必阅读末页声明。 图 5：主要模型评测 图 6：主要模型 API 定价 数据来源：artificialanalysis.ai，东莞证券研究所 数据来源：artificialanalysis.ai，东莞证券研究所 2 月 18 日，马斯克旗下的

在 大模型竞技场 (LMSYS) 位列全球开源模型第一名，依靠创新结构，将推理成本降低近百倍。 l 2024 年 12 月， DeepSeek-V3 发布，性能对齐海外领军闭源模型。该模型在多项评测集上超越了阿里 Qwen2.5-72B 、 Meta 的 Llama-3.1-405B 等其他开源 模型，并 逼近 GPT-4o 、 Claude-3.5-Sonnet 等顶尖闭源模型。据官方技术论文披露， 首个版本上线并同步开源。 DeepSeek-V3 为自研 MoE 模型，共有 671B 参数，每个 token 激活 37B ，在 14.8T token 上进行 预训练。 DeepSeek-V3 多项评测成绩超越了 Qwen2.5-72B 和 Llama-3.1-405B 等其他开源模型，并在性能上和世界顶尖的闭源模型 GPT-4o 及 Claude-3.5-Sonnet 不分伯仲。 l DeepSeek-V3 发布，性能对齐海外领军闭源模 型 图： DeepSeek-V3 等模型执行不同推理任务性能对比 图： DeepSeek-V3 具有更优的模型性能 / 价格比例 图： DeepSeek-V3 等模型多项评测成绩对比 资料来源： DeepSeek 官网，国信证券经济研究所 整理 资料来源： DeepSeek 官网，国信证券经济研究所 整理 资料来源： DeepSeek 官网，国信证券经济研究所 整理

数域 现实域 对落地的业务场景来说，模型并非越大越好，而是需要根据实际业务场景来选择适合的模型 2 5 多场景数据标注 小样本模型训练 零代码应用编排 全方位智能评测 图像干扰 勾选、手写、背景、印章、打印偏移等 复杂关系 混合版式、表格结构化、多层级关系、勾选框提取、易混淆字段提取、无 Key 字段提 取 智能结构化 版式 5000+ 泛化准确率 90%+

03 我们的AI教育实践 • 技术选型与数据验证 • 经过300+技术选型 • 经过2000+验证试验 • 经过200000+的数据论证 • 经过30+开/闭源模型评测 • 经过5000+Prompt的验证组合落地 • 经过100+Function calling • 多种RAG框架论证 • 多种Vector DB验证 • 开展以基于学习科学的职业教育人工智能大模型建设

解决复杂逻辑谜题，编写复杂算法，数学证明 撰写新闻稿，翻译文章，生成产品描述，回答 常识问题 成本 通常更高 通常更低 2. 大模型产品 2.1 国外的大模型产品 2.2 国内的大模型产品 2.3 主流大模型“幻觉”评测 厦门大学大数据教学团队作品 2.1 国外的大模型产品 n ChatGPT ChatGPT是一种由OpenAI训练的大语言模型。它是基于Transformer架构，经过大量文本数据训练而成，能够生成自然、 AI 助手，可处理 200 万字超长文本，支持多 格式文件解读、互联网信息搜索整合、多语言对话等，能用于办公、学习、创作等 场景，有网页版、APP、微信小程序等使用方式。 2.3 主流大模型“幻觉”评测 大模型幻觉，也被称为 AI 幻觉，是指大型语言模 型在生成内容时，产生与事实不符、逻辑错误或 无中生有等不合理信息的现象。 比如在回答历史事件时，可能会编造不存在的细 节或人物；在进行科学知识讲解时，给出错误的

， 并协助实施分级诊疗制度。 讯飞晓医APP 资料来源：公司官网，公司公告，西南证券整理 资料来源： 公司官网，MedBench，西南证券整理（MedBench：一家开放性中文医疗大模型评测平台） 京东卓医 京东健康成立于2019年5月，是京东集团旗下专注于医疗健康业务的子集团，2020年12月在港交所上市。公司业务范围涉及健康 商品营销与销售、医疗健康服务、企业健康解决方案、 ”，作 为行业内首个实物与服务相联通、知识与数据相融合的医疗大模型，京医千询整合了大量的临床实践指南、医学文献和专家知识 ，能快速完成在医疗健康领域各个场景的迁移和学习。京医千询在MedBench评测榜单中综合评分为92.4，排名第二（仅次于蚂 蚁医疗大模型）  京东卓医：业内首个互联网医疗全场景智能化大模型产品。2025年1月，以京医千询大模型为基底，公司发布首个医院全场景应 用大模型产品京东卓医（JOY

附录：国内外大模型公司进展 2022 年 11 月，OpenAI 推出基于 GPT-3.5 的 ChatGPT 后，引发全球 AI 大模型技术开发 与投资热潮。AI 大模型性能持续快速提升。以衡量 LLM 的常用评测标准 MMLU 为例，2021 年底全球最先进大模型的 MMLU 5-shot 得分刚达到 60%，2022 年底超过 70%，而 2023 年底已提升至超过 85%。以 OpenAI 为例，2020 科技巨头目前主要模型的布局 注：MMLU（Multilingual Massively Multilingual Understanding，大规模多任务语言理解）是一个包含 57 个多选问答任务的英文评测数据集，涵盖了初等数学、美国历 史、计算机科学、法律等领域，难度覆盖高中水平到专家水平的人类知识。它是用于评估大模型在跨语言和多领域知识理解方面性能的一个重要基准。 资料来源：公司官网，华泰研究