税务行业标准大模型

微信扫码，打开到小程序

税务行业标准大模型 基本情况 当下，人工智能正在成为全球数字技术创新的前沿领域。大模型 作为工业革命级的生产力工具，正在成为赋能百行千业向数智化跨越 升级的变革力量。为进一步落实数字化国家战略，推进产业数字化进 程，深度挖掘细分应用领域，打造具有差异化的企业级 AI 大模型，360 集团与中税集团合作共建了税务行业标准大模型，该模型旨在于解决 税务行业性、专业性问题。 税务行业标准大模型在人机交互、复杂内容和语言理解等方面， 具有强大的分析和学习能力，可以精准获取有效税务信息，高效处理 日常重复业务，在提高税收管理效率的同时，可以降低税收管理成本。 此外，大模型训练语料库涵盖了巨大的专业数据，其中包含中税 集团多年累积的超百万法规库、千万量级的案例判例、几万本税务电 子书，以及专家知识及实操案例等。 目前，税务行业标准大模型成为了税务这一垂直行业领域大模型 的典型应用，并在注册税务师考试中的成绩已经超越了 ChatGPT。凭 借其创新技术与应用表现，入选“北京市通用人工智能大模型行业应 用十大典型场景案例”。 技术简介 一、税务行业标准大模型的技术优势 2023 年以来，360 集团发布了自研认知型通用人工智能大模型— —360 智脑，成为引领企业级市场数智升级的重要驱动力。在应用方 面，360 集团与中税集团合作共建面向税务行业领域的大模型——税 务行业标准大模型，将人工智能技术有效地应用在涉税专业服务领域， 激发生产力创造力 税务行业标准大模型，发挥 360 基础模型、算力支撑、基础数据、 人力支撑的优势，以及中税集团专注税务行业基础数据(包括但不限于 法律法规、通用知识)、行业典型案例，税务和智能解决方案以及人力 支撑共同构建，可用于解决税务行业性、专业性问题，该模型在税务 领域内做行业场景训练并输出行业场景应用模型。 税务行业标准大模型具备以下技术优势： 1. 样本优化：通过样本优化技术，建立倒排定位，不断通过模型 微调自动化测试跑校验集，以实现高质量的逻辑链路。 2. 去重优化：通过专家高质量输入，淘汰低质句子及篇章粒度去 重，从而保证了文本的质量。 3. 算法优化：对算法模型本身进行了优化，包括位置编码优化、 中文语义优化、激活层非线性兼容、前向网络自适应、SFT 微调层、指 导学习新知识，以及融合了 ReAct 的“推理-行为-观察-再推理-行为- 观察”模式优化思维推理结果。 4. 训练优化：训练优化时间相较于原来的数据有所减少，提高训 练效率。 5. 上下文学习窗口优化：算子层面融合，上下文学习窗口基于 Flash Attention 的基础上进行外挂缓存结合缩容的优化。 6. 历史问答优化：自动提示工程等技术的运用，使得历史问答优 化功能更加高效。 7. 计算类难题适配：通过优化，成功实现免打标阅读理解、分题 型模式优化、计算类难题适配、分税种领域知识解决等功能和技术突 破。 二、税务行业标准大模型专业能力获认可 7 月 2 日，360 集团与中税集团合作共建的“税务行业标准大模型”， 获得业内认可，入选“北京市通用人工智能大模型行业应用十大典型 场景案例”。 “北京市通用人工智能大模型行业应用十大典型场景案例”是以 市场化机制为基础，从技术领先性、应用代表性、功能适用性、推广 复制性等四方面综合评价后产生的结果，于 2023 全球数字经济大会期 间正式发布。 主要特点 税务标准大模型主要特点： 1、专业的模型能力 相较于通用大模型能够解决一般性问题，税务行业标准大模型可 以解决税务领域更为专业的知识问题。据测试，该模型在注册税务师 考试中的成绩已经超越了 ChatGPT。 2、强大的研发团队 360 集团与中税集团组建专业团队，汇集多位深耕人工智能技术领 域的创新技术专家，以及具有丰富实操经验的税收专家，形成 GPT 培 训师团队，成为大模型效果持续优化的保障。 3、丰富的训练语料 360 数据量 A 股行业第一，是第二名的 2 倍，是 GPT-3 的 14 倍， 以搜索为基础，为大模型提供高质量的训练语料。中税集团借助深耕 涉税服务领域 30 余年积累的专家和知识，搭建涵盖包含超百万法规库、 千万量级的案例判例、几万本税务电子书，几十个细分行业知识的百 亿汉字集专业训练语料库，为税务行业标准大模型落地奠定了专业基 础。 4、聚焦涉税服务场景 根据多年行业经验总结，大模型聚焦以下应用领域：智能咨询、 智能风控、智能培训等，并进行需求深挖及模型的反复训练。以智能 咨询场景为例，大模型可以作为基座，集合语音识别、语音合成、数 字人等多项功能，在咨询对话、问题整理、问办一体和数据分析等多 个环节做场景应用。 落地应用效果 目前，税务行业标准大模型在智能咨询、智能风控、自动算税、 智能培训等在内的税务行业场景进行训练并输出行业场景应用模型， 解决税务行业性、专业性问题，精准获取有效税务信息，高效处理日 常重复业务，在提高税收管理效率的同时，降低税收管理成本。以智 能咨询场景为例，大模型可以作为基座，集合语音识别、语音合成、 数字人等多项功能，在咨询对话、问题整理、问办一体和数据分析等 多个环节做场景应用。 与通用大模型不同，税务行业对大模型提出了更高的专业要求。 据测试，该模型在注册税务师考试中的成绩已经超越了 ChatGPT。大 模型在注册税务师考试中，知识题正确率 77%，计算题正确率 38%， 模型总体得分稳定为 53.7%，是其他同类竞品模型的 3 倍。 在实际应用中，税务领域有明确目标并且税务行业认可，即参加 注册税务师考试，以注册税务师考过 60%为标准进行优化。通过样本 优化、去重优化、算法优化、训练优化、上下文学习窗口优化、历史 问答优化、计算类难题适配等技术突破。基于此，税务行业标准大模 型让 AI 技术与税务管理相融合，不断强化行业赋能效果。 未来发展规划 未来，面对政府、社会，助力税务征管部门实现税收管理的智慧 化、数字化和现代化，促进税收政策的创新和完善；面对行业，助力 税务行业实现自动化、智能化以及创新化的数据处理、分析以及预测； 面向企业，助力企业高效、合规地完成税务规划工作。让大模型学会 税务专家的税务专业知识及实操逻辑，实现从数字化到智能化跨越， 加速数字中国发展。