INTELLIGENCE ARTIFICIAL 人工智能大模型 保险行业应用评测报告 Evaluation Report on the Application of Large-scale Artificial Intelligence Models in the Insurance Industry 2023 年 10 月 以 ChatGPT 为代表的 AI 大模型技术席卷全球，不仅 发布《人工智能大模型保险行业应用评测报告》。报告特邀国内知名 高校专家学者、中国大地财产保险股份有限公司、众惠财产相互保险社等共同调研并撰写完成。 《报告》通过保险、法律、医疗等相关领域常规知识问题，测试大模型的基础能力，同时针对部分主要典型的应用能力设计 了保险业务场景设定及问题，以测试大模型的实际应用能力。区别于以底层专业性能指标为评测维度的大模型评测报告， 《报告》以应用场景的视 实用和直观的信息，更具现实层面的指导意义。 本报告评测结果经专家组进行谨慎的综合论证形成，但考虑到大模型迭代速度日新月异，评测结果仅代表测试期间所呈现的 效果。报告在分析结论上难免存在一定的局限性和偏差，欢迎各届批评指正。 评测框架 保险垂直领域大模型评测从常用的保险业务场景中抽离三大主要应用能力，细分为十大能力测试维度， 71 个评测任务。通 过 不同任务上大模型的性能表现，挖掘其基础能力的优势和特点。

服务支持平台 （代码标准化、公共数据库、数据交换）（决策支持系统）（数字资源库） 第二部分 智慧校园中的信息化技术 公共基础支撑平台 公共安全 教育数据支撑平台 评 教 智慧教学系统 教学评测与学习 系统 考 阅卷 / 考试分析 管 智慧管理系统 智慧教育核心应用 + = 校园一卡通 数据增量抽取方案 数据源端统一方案 智慧 教学 智慧教室 01 智慧教室效果图 智 第三步：零件整 理 第四步：物理搭 建 第五步：软件编 程 第六步：成品展 示 06 作品展示 公共基础支撑平台 公共安全 教育数据支撑平台 评 考 管 教 智慧教学系统 教学评测与学习 系统 阅卷 / 考试分析 智慧管理系统 智慧教育核心应用 教育质量综合评估系统 以《教育部关于推进中小学教育质量综合评价改革的意见》（教基二〔 2013 〕 2 号文件为依据） 品德 综合评价体系不仅仅是结果，更是不断优化提升的过程 分析 处理 提升 评价 采集 数据 是基础，评价 是手段，提升 是目的 02 综合评价体系 数据采集 数据分析 可视化决策 个人评测报告 错题本 知识点拆解 优质资源推送 个性化的提升计 划 有效性评测 基于大数据的资源有效性评价 个人学习空间 线上线下相结合的测试手段 数据调用 对计划执行和成效的监控 智能终端 开放的教育资源平台 自服务的资源

2014 年首次参加 IWSLT 国际口语机器翻译评测比赛获得第一； 2018 及 2021 IWSLT 第一名； 2021 年 8 月， IWSLT 比赛，科大讯飞与中科大语 音及语 言信息处理国家工程实验室团队在同声传译任务中包揽三个赛道的冠军） 机器口语评测技术（ 2008 年中文口语评测首次达到人类专家水平， 2012 年英文口语评测首次达到人类专家水平） 声音定位与检测技术（ DCASE 第一名） 机器阅读理解技术（ 2021 年， XTREME 中刷新世界纪录） 作文自动评阅技术（ 2018 Chinese Grammatical Error Diagnosis 第一名） 语义评测技术（ 2019 Math Question Answering 第一名） 知识图谱技术技术（ 2022 年 2 月，科大讯飞以第一名的成绩登顶世界顶级人工智能挑战赛 Open Graph Benchmark 2018 IDRiD 眼底图分析竞赛 MA 分割任务 第一名） 图像语义分割（ 2017 首次参加国际自动驾驶领域权威评测集 Cityscapes 获得第一 ， 2018 及 2021 再获第一名） 手势识别（ 2020 The 20BN-Jester Dataset 手势识别评测第一名） 科大讯飞掌握国际先进的智能语音和人工智能技术 2018 年 -2023 年，科大讯飞共夺得61 项国际人工智能大赛冠军

灯设备、水表设备、空调设备 后勤服务质量监测评估中心 帮助后勤集团对所有乙方单位及需要评测的内 容进行整体评估。中心通过从不同业务评价体 系，不同业务系统中的评测及评测数据进行汇 总、整理，重新、综合打分方式实时对所有服 务项目进行整体监控。 包含但不限于：食堂档口服务质量评测、物业 服务质量评测、员工服务质量评测 后勤学生安全动态评估中心，可以通过对学生在校时 间、在校情况、进入情况及出现位置、社会关系进行

习近平总书记在第十九次全国人民代表大会中指出：优先发展教育 事业。努力让每个孩子都能享有公平而有质量的教育。 精准教学大数据平台 基于移动学习平台、智慧课堂的教育数据（基础数据、教学数据、评测数据、教研数据、管理数据）多维采集， 实现教、 学、管各类主题统计分析，支撑科学决策、教育均衡、课程体系与教学效果最优化。 精准教学大数据平台——数据汇聚、科学分析 教学大数据产品是以大数据和 育 信息化资源。 • 智能教学评测与管理： 利用 AI 技术采集 课堂中各类行为数据，进行高 效 • 精准的教育教学评测，从而提高教学质量。 • 智能校园管理：远程管控、本地快速联动 5G 校园应用 远程互动教学 虚拟现实沉浸式教学 AI 教育教学评测 5GAI 教育教学评测 云 计算 大数据 人工智能 数据仓库 建模分析 课堂师生行为报告 课堂参与度数据图 决策分析报告 教学质量报告 班级分析报告 学生个人分析报告 情感识别 语音识别 文本识别 AI 识别采集数 据 （基础数据） 有效性评测 可视化决策 个性化的提升计划 学生成长档案 智 慧 教 育 大 数 据 数据处理生成报告 教育教学评测应用 行为识别

，提供 7B 、 13B 、 30B 、 70B 和 130B 五种版本选择 ，最大允许 32k 文本输入 ，支持 API 接口 调用、 网页嵌入、共建、私有化部署等能力 ，并为用户提供一站式标注和评测服务。 通用领域： HithinkGPT 大模型在 C-Eval 、 GSM8K 、 MMLU 、 MATH 等 10 多个主流 Benchmark 测评集上的表现全面超越了主流 开源模型 数据”的金融生态基 因 妙想金融能力评测行业领先。一方面 ，使用开源金融评测数据集 OpenFinData 对妙想金融大模型的金融场景能力进行 360 度诊断。 在横跨金融知识、金融计算、金融解读、金融判别、金融分析、金融合规等六大金融模块共十九项金融任务维度的多元金融场景能力的 测试中 ，妙想金融大模型评测综合评分整体较高。 金融场景评测比较优势凸显。另一方面 ，研发团队针对常见金融应用场景 金融行业大模型，较通用大模型更专业、更合规、更轻量。 LightGPT 拥有更专业的金融语料积累处理和更高效稳定的 大模型训练方式。在金融专业问答、逻辑推理、超长文本处理能力、多模态交互能力、代码能力等在内的金融大模型能力评测中均有不错表 现，并保证内容和指令的合规安全，处于业内领先水平，可以为投顾、客服、投研、运营、风控、合规、研发等金融业务场景提供底层 AI 能 力支持。 光子系列产品，基于 LightGPT

天津联通智能客服项目综合 AI 感知和认知全方面技术，包括语音识别 / 合成、自然语言理解、知识库、用户画像 等 » 》 百度智能客服实施案例 —— 某运营商案 例 智能交互准确率 第三方用户评测对比效果 4 个月上线，赶超竞品，智能交互准确率稳定在 90% 理解能力 用户表述自然度 竞品 分流量上线：依据测试流量， 持续开展模型迭代和数据标 注 • 多样性评测：双方基于功能、 效果和体验分阶段开展评测 和优化 • 持续运营监控：监控产品和 业务运营效果，持续配合上 线过渡期运营 业务 梳理 产品 建设 接口 建设 模型 迭代 数据 标注 系统 部署 产品 评测 运营 监控 通过众多智能客服项目沉淀建设方 法论 产品监控 运营情况监控 存量数据的标注 增量数据的标注 私有化部署方案 代码安全部署方 案 客户核心系统集 成方案 智能多轮对话 智能运营管理平 台 智能知识平台 功能评测内容 效果评测内容 体验评测内容 项 目 产 品

6 2024.9 2024.10 2024.12 2025.3 立项申请，确定评测实验 室和核心参编厂家 完成立项，征求参编单位 成立编制组，召开启动会 完成标准草案，开展摸底 评测 输出征求意见稿，挂网征 求意见 形成送审稿，完成专家评 审 完成标准送审、发布 完成评测，发布评测认 证报告 参编单位 l 华北电力大学 l 北京中交国通智能交通系统技术有限公司

• 赞助方 • 华为公司 中文人机对话技术评测 (SMP-ECDT III) 11 SMP ECDT III 委员 会 • 主席 • 张伟男 • 哈尔滨工业大学 • 委员 • 陈志刚，科大讯飞 • 车万翔，哈尔滨工业大学 • 张轶博，华为 • 黄民烈，清华大学 12 SMP-ECDT III • （深度）自然语言理解评测 • 领域 - 意图 - 语义槽 • 例如：“我想订上海飞往北京的航班” 例如：“我想订上海飞往北京的航班” • 评测指标： • Sentence ACC • 领域、意图识别和语义槽填充全做对！ • 特点（难点） • 符合任务型对话的真实应用场景 • 多领域性、多意图性 http://conference.cipsc.org.cn/smp2019/evaluation.html 13 任务一结果排名（ 2019.07.15 ） SMP-ECDT III III • 个性化对话生成评测 • 给定特定用户属性，生成符 合 该属性的个性化对话回复 • 特点 • 百万级数据集 • 客观 + 主观评价 • BLEU 、 Perplexity 、 Distinct • Fluency 、 Personality 、 Appropriateness http://conference.cipsc.org.cn/smp2019/evaluation

产业的智能化 升级。 图 2-2 汽车企业智能化转型的技术架构示意 Agent 智能体评测与度量 Agent 开发已经逐渐成为汽车行业 AI 开发赋能的主要途径，但 Agent 开 发并非一蹴而就，企业在开发 Agent 时需要不断调试和迭代升级对其完 善。 通过引入 Agent 评测和度量，这些工具提供了一个客观的、系统的评估 框架， 通过实际数据和标准化的测试方法，对 Agent 大模型参数（ B ） *2 Agent 评测是通过收集一套数据集来调用 Agent, 再对其输出结果进行评 估，返回一个分数。这个分数可以是基于实际输出与参考输出进行比较得出 的，也可能不需要参考输出， 比如检查输出的格式是否为 JSON 。通过调 整 Agent 的大模型、系统提示词、知识库和工具定义， 观测不同组合下最优 组合。 Agent 的评测系统主要包含数据集管理， Agent Agent 运行以及 Agent 运 行结果的 评估打分。 数据集管理提供了一套可视化的 评测数据集管理工具， 方便用户对各 场景的评测数据集进行管理，支持数 据的导入、导出和编辑等功能。数据 集可以分为人工数据集和程序数据集。 前者是为了方便人工采集数据，后者 是作为参数调用 Agent 。 评估打分是通过建立一套指标系统，对 Agent 的结果集进行打分，最终