INTELLIGENCE ARTIFICIAL 人工智能大模型 保险行业应用评测报告 Evaluation Report on the Application of Large-scale Artificial Intelligence Models in the Insurance Industry 2023 年 10 月 以 ChatGPT 为代表的 AI 大模型技术席卷全球，不仅 发布《人工智能大模型保险行业应用评测报告》。报告特邀国内知名 高校专家学者、中国大地财产保险股份有限公司、众惠财产相互保险社等共同调研并撰写完成。 《报告》通过保险、法律、医疗等相关领域常规知识问题，测试大模型的基础能力，同时针对部分主要典型的应用能力设计 了保险业务场景设定及问题，以测试大模型的实际应用能力。区别于以底层专业性能指标为评测维度的大模型评测报告， 《报告》以应用场景的视 实用和直观的信息，更具现实层面的指导意义。 本报告评测结果经专家组进行谨慎的综合论证形成，但考虑到大模型迭代速度日新月异，评测结果仅代表测试期间所呈现的 效果。报告在分析结论上难免存在一定的局限性和偏差，欢迎各届批评指正。 评测框架 保险垂直领域大模型评测从常用的保险业务场景中抽离三大主要应用能力，细分为十大能力测试维度， 71 个评测任务。通 过 不同任务上大模型的性能表现，挖掘其基础能力的优势和特点。

2014 年首次参加 IWSLT 国际口语机器翻译评测比赛获得第一； 2018 及 2021 IWSLT 第一名； 2021 年 8 月， IWSLT 比赛，科大讯飞与中科大语 音及语 言信息处理国家工程实验室团队在同声传译任务中包揽三个赛道的冠军） 机器口语评测技术（ 2008 年中文口语评测首次达到人类专家水平， 2012 年英文口语评测首次达到人类专家水平） 声音定位与检测技术（ DCASE 第一名） 机器阅读理解技术（ 2021 年， XTREME 中刷新世界纪录） 作文自动评阅技术（ 2018 Chinese Grammatical Error Diagnosis 第一名） 语义评测技术（ 2019 Math Question Answering 第一名） 知识图谱技术技术（ 2022 年 2 月，科大讯飞以第一名的成绩登顶世界顶级人工智能挑战赛 Open Graph Benchmark 2018 IDRiD 眼底图分析竞赛 MA 分割任务 第一名） 图像语义分割（ 2017 首次参加国际自动驾驶领域权威评测集 Cityscapes 获得第一 ， 2018 及 2021 再获第一名） 手势识别（ 2020 The 20BN-Jester Dataset 手势识别评测第一名） 科大讯飞掌握国际先进的智能语音和人工智能技术 2018 年 -2023 年，科大讯飞共夺得61 项国际人工智能大赛冠军

灯设备、水表设备、空调设备 后勤服务质量监测评估中心 帮助后勤集团对所有乙方单位及需要评测的内 容进行整体评估。中心通过从不同业务评价体 系，不同业务系统中的评测及评测数据进行汇 总、整理，重新、综合打分方式实时对所有服 务项目进行整体监控。 包含但不限于：食堂档口服务质量评测、物业 服务质量评测、员工服务质量评测 后勤学生安全动态评估中心，可以通过对学生在校时 间、在校情况、进入情况及出现位置、社会关系进行

习近平总书记在第十九次全国人民代表大会中指出：优先发展教育 事业。努力让每个孩子都能享有公平而有质量的教育。 精准教学大数据平台 基于移动学习平台、智慧课堂的教育数据（基础数据、教学数据、评测数据、教研数据、管理数据）多维采集， 实现教、 学、管各类主题统计分析，支撑科学决策、教育均衡、课程体系与教学效果最优化。 精准教学大数据平台——数据汇聚、科学分析 教学大数据产品是以大数据和 育 信息化资源。 • 智能教学评测与管理： 利用 AI 技术采集 课堂中各类行为数据，进行高 效 • 精准的教育教学评测，从而提高教学质量。 • 智能校园管理：远程管控、本地快速联动 5G 校园应用 远程互动教学 虚拟现实沉浸式教学 AI 教育教学评测 5GAI 教育教学评测 云 计算 大数据 人工智能 数据仓库 建模分析 课堂师生行为报告 课堂参与度数据图 决策分析报告 教学质量报告 班级分析报告 学生个人分析报告 情感识别 语音识别 文本识别 AI 识别采集数 据 （基础数据） 有效性评测 可视化决策 个性化的提升计划 学生成长档案 智 慧 教 育 大 数 据 数据处理生成报告 教育教学评测应用 行为识别

天津联通智能客服项目综合 AI 感知和认知全方面技术，包括语音识别 / 合成、自然语言理解、知识库、用户画像 等 » 》 百度智能客服实施案例 —— 某运营商案 例 智能交互准确率 第三方用户评测对比效果 4 个月上线，赶超竞品，智能交互准确率稳定在 90% 理解能力 用户表述自然度 竞品 分流量上线：依据测试流量， 持续开展模型迭代和数据标 注 • 多样性评测：双方基于功能、 效果和体验分阶段开展评测 和优化 • 持续运营监控：监控产品和 业务运营效果，持续配合上 线过渡期运营 业务 梳理 产品 建设 接口 建设 模型 迭代 数据 标注 系统 部署 产品 评测 运营 监控 通过众多智能客服项目沉淀建设方 法论 产品监控 运营情况监控 存量数据的标注 增量数据的标注 私有化部署方案 代码安全部署方 案 客户核心系统集 成方案 智能多轮对话 智能运营管理平 台 智能知识平台 功能评测内容 效果评测内容 体验评测内容 项 目 产 品

6 2024.9 2024.10 2024.12 2025.3 立项申请，确定评测实验 室和核心参编厂家 完成立项，征求参编单位 成立编制组，召开启动会 完成标准草案，开展摸底 评测 输出征求意见稿，挂网征 求意见 形成送审稿，完成专家评 审 完成标准送审、发布 完成评测，发布评测认 证报告 参编单位 l 华北电力大学 l 北京中交国通智能交通系统技术有限公司

• 赞助方 • 华为公司 中文人机对话技术评测 (SMP-ECDT III) 11 SMP ECDT III 委员 会 • 主席 • 张伟男 • 哈尔滨工业大学 • 委员 • 陈志刚，科大讯飞 • 车万翔，哈尔滨工业大学 • 张轶博，华为 • 黄民烈，清华大学 12 SMP-ECDT III • （深度）自然语言理解评测 • 领域 - 意图 - 语义槽 • 例如：“我想订上海飞往北京的航班” 例如：“我想订上海飞往北京的航班” • 评测指标： • Sentence ACC • 领域、意图识别和语义槽填充全做对！ • 特点（难点） • 符合任务型对话的真实应用场景 • 多领域性、多意图性 http://conference.cipsc.org.cn/smp2019/evaluation.html 13 任务一结果排名（ 2019.07.15 ） SMP-ECDT III III • 个性化对话生成评测 • 给定特定用户属性，生成符 合 该属性的个性化对话回复 • 特点 • 百万级数据集 • 客观 + 主观评价 • BLEU 、 Perplexity 、 Distinct • Fluency 、 Personality 、 Appropriateness http://conference.cipsc.org.cn/smp2019/evaluation

产业的智能化 升级。 图 2-2 汽车企业智能化转型的技术架构示意 Agent 智能体评测与度量 Agent 开发已经逐渐成为汽车行业 AI 开发赋能的主要途径，但 Agent 开 发并非一蹴而就，企业在开发 Agent 时需要不断调试和迭代升级对其完 善。 通过引入 Agent 评测和度量，这些工具提供了一个客观的、系统的评估 框架， 通过实际数据和标准化的测试方法，对 Agent 大模型参数（ B ） *2 Agent 评测是通过收集一套数据集来调用 Agent, 再对其输出结果进行评 估，返回一个分数。这个分数可以是基于实际输出与参考输出进行比较得出 的，也可能不需要参考输出， 比如检查输出的格式是否为 JSON 。通过调 整 Agent 的大模型、系统提示词、知识库和工具定义， 观测不同组合下最优 组合。 Agent 的评测系统主要包含数据集管理， Agent Agent 运行以及 Agent 运 行结果的 评估打分。 数据集管理提供了一套可视化的 评测数据集管理工具， 方便用户对各 场景的评测数据集进行管理，支持数 据的导入、导出和编辑等功能。数据 集可以分为人工数据集和程序数据集。 前者是为了方便人工采集数据，后者 是作为参数调用 Agent 。 评估打分是通过建立一套指标系统，对 Agent 的结果集进行打分，最终

确保资源一致，让老师能够快速根据备课内容组织课堂教学； 1 多元化的讲授方式让学生能够快速接受、简单学习； 4 通过随堂训练可以进行课堂互动，活跃班级气氛、激发学生的学习积 极 性； 3 教师在课堂上简单操作完成课后作业布置、考试评测，课前预习任务的 发布 5 通过教学互动工具实现课堂上师生互动，帮助老师轻松教学、高效教学； 2 教学助手 基于电子课本的授课系统，支持语言学科的即点即读 、多媒体资源播放、画笔批注讲解等多种授课实用功 教学应用 支持收录教师、学 生情况 安全信息数据库管理 校园安全 支持收录校园安全基 本信息 教育局管理大数据 利用“ 5G+ 物联网”技术实现对教育数据多维度采集（基础数据、教学数据、评测数据、教研数据、管理数据 ), 支持数据共享、数据交换、数 据分析等功能，建设统一数据整合中心。 支持跨区域数据分析展示，按照区域、校、教、学、、资源、管各类主题统计分析，实现科学决策、教育均衡、课程体系与教学效果最大化。 智能教学评测与管理 创客教室 虚拟现实教育 AI 教育教 学 校务管理 智慧图书馆 智能考勤 教学大数据 5G 校园智 能 化管理 远程互动教学 远程互动教学 虚拟现实沉浸式教学 AI 教育教学评 测 校园智能化管理  直播互动课堂：高清、低时延、无卡顿互动体验  虚拟现实教育云平台：打造中国联通虚拟现实教育 云平台，整合多种教育信息化资源。  智能教学评测与管理：利用

，优选高质量的信创产品和服务； 防范风险、多干少说 推进过程合法合规合理 ，积极防范风险； 严格保密管理 ， 避 免失泄密事件发生。 统筹部署、开放合作 央国企统筹安排总体目标和阶段任务 ，突出自主可控评测衡 量标尺作用 ，加强国外先进技术引进和融合 02 ，保障项目启动、需求管理、方案设计、适配验证、用户培训、安全 方 案设计、集成实施、上线试运行及任务验收、安全测评 ，竣工验收等流程数十个关键步骤顺利实施 ，如期交付 央国企信创数字化转型标准工程 实施 安全评测 适配验 证 项目验 收 重点关注 66 信创实验室 - 仿真开发环境 项目现场模拟实验室 建设期 产品适配 应用开发 系统测试 系统调优 • 联合攻关 第三方技术测试涉及到系统相关 的标准和业务功能和性能等 ，在 应用系统开发阶段 ，就与第三方 技术测评单位深入沟通配合。 项目前期提交详细的设计方案 ， 并经过安全评测机构评审确认 ， 减少项目安全评测中的问题 ， 确 保安全评测的进度。 对涉密数据和信息进行保密 ，签 订保密协议 ，对项目组成员进行 备案 ，严格遵守保密法律法规及 规程制度。 央国企信创数字化转型项目推进 -