据上进行训练， 以寻找特 征并发现 规律 ，进而形成可“举一 反三” 的强 大泛化能力 ，可在不 进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 模型 。 它们通常使用行业相关的 数 据进行预训练或微调， 以提高 在该 领域的性能和准确度，相当 于 AI 成 为“行业专家” 垂直大模型 L2 是指那些针对特定任务或场景的大 是指那些针对特定任务或场景的大 模型 。 它们通常使用任务相关的 数 据进行预训练或微调， 以提高 在该 任务上的性能和效果 1.4 大模型的分 类 按照应用领域的不同 ，大模型主要可以分为 L0 、 L1 、 L2 三个 层级 OpenAI 定义推理模型 在 OpenAI 的官网上 ， OpenAI 定义推理 模 型是在回答之前进行思考 ， 并在回复用 户 之前 ，在内部生成一长串的思维链过 闭环管理机制 定制化与灵活性 模型微调技术要点 （ 1 ） 高质量的标注数据： 标注数据 的质量直接影响微调的效果 ， 需要确 保数据标注的准确性和一致性 （ 2 ） 合理的微调策略： 选择合适的 微调算法和超参数 ，避免过拟合或欠 拟合问题 模型微调技术特点 （ 1 ） 领域针对性强： 经过微调的模 型在特定领域的表现会有显著提升

........ 1 3.4 大模型服务 large-scale model service ........................................... 2 3.5 微调 fine-tuning ............................................................... 2 3.6 提示词 prompt .... 1—2025，3.2] 3.5 微调 fine-tuning 为提升机器学习模型预测准确性,使用专门领域数据在大模型上继续训练的过程。 注1:专门领域数据一般是特定场景的生产数据或合成数据。 注2:常用的微调方法包括提示词微调、全参微调、参数高效微调等。 [来源:GB/T41867—2022,3.2. 31,有修改] 3.6 提示词 prompt 提示语 使用大模型进行微调或下游任务处理时,插入到输入样本中的指令或信息对象。 b) 应支持多种数据类型，支持excel、txt、json等多种格式数据导入，以及支持结构化数据、非 结构化文本、音视频等多模态数据接入，提供数据去重工具。 6.2.1.2 数据标注 a) 应支持微调语料标注能力，即对已有大规模通用语料库进行精细化标注，以满足特定任务或领 域的需求。标注结果应具备一致性和可靠性，遵循相应的标注规范； b) 应支持对齐语料标注能力，具备将不同来源、不同结构的文本进行整合和对齐的能力，形成一

2.1 标注规范制定.............................................................................85 4.2.2 模型微调方案.............................................................................88 4.3 数据安全合规性..... PDF、Word）以及实时 API 数据流，采用 ETL 工具进行数据清洗与归一化处理，确保输入 质量。 智能处理层部署 DeepSeek 核心模型，针对政务场景进行垂直 优化： - 模型微调：基于政务语料（政策文件、办事指南等）进行领域适 配训练，提升专业术语理解能力 - 多任务处理：同步集成意图识别（准确率≥92%）、实体抽取 （F1 值≥0.89）和语义匹配模块 - 知识增强：绑定政务知识图谱（平均节点规模 种方言，响应时间<800ms）  意图理解引擎：采用 BERT+BiLSTM 混合模型，政务事项分类 准确率达 92%，支持 200+种政务服务意图识别  动态响应生成：基于 DeepSeek-7B 模型微调，输出结果自动 匹配政务术语库（包含 8 万条标准术语） 2. 业务中台层 模块名称 技术指标 对接系统 事项办理引擎 支持并发量≥5000TPS 行政审批系统 政策解读库 更新延迟<15

范围内演示 ChatGPT 的使用》的公开新闻，且在新闻内容中明确表 示“该新闻由 ChatGPT 撰写，工作人员仅进行部分校对与润色”。中 国台湾省花莲县使用新闻科专属封闭资料库对 ChatGPT 进行微调， 用以产出活动类新闻稿，每篇新闻稿撰写节省时间约为 15 分钟。10美 国众议院数字服务团队称，ChatGPT 将在众议院中应用于生成选民回 10 联合报，《借重人工智慧提升效率 花莲县府率先使用 基百科、社交媒体平台等公开数据，政务专业知识占比较低，模型能 力与政府机构治理活动贴合不紧密，政务应用场景较为有限。 2. 定制化部署 定制化部署指在通用大模型底座基础上，结合政务领域数据和知 识库进行训练与微调 13，并部署在政府专有服务器上，以提升回答专 业性及数据安全性。以新加坡为代表的 9 个国家或地区采取定制化部 署模式。马来西亚、阿联酋、卡塔尔、韩国、美国等将 ChatGPT 嵌入 到已有 性化程度提升。应用场景的深化意味着政府需针对相应场景，利用政 务数据对模型进行微调。例如，印度电子和信息技术部开发的弱势群 体政策咨询系统、葡萄牙司法部开发的“司法实用指南”、新加坡政 府科技局的大模型聊天机器人项目等均使用了政府数据进行模型调 整。另一方面，大模型对政府信息的获取程度加深，促使政府采取措 13 麦肯锡：微调（Fine-tuning）指调试预训练模型以使其更好地处理特定任务的过程。需要在相对较

内容可控 性的政务大模型。 严密推理、精准调度能力：星智政务垂直领域大模型以微调训练为核心，面向 语言、图表、报告、舆情等多模态场景下的政务知识进行微调训练，对相关信息进行 推演和研判，并实现数据、图表、业务应用 API 的精准调用及生成。 多元决策、人格创作能力：集成内源向量数据库与外源插件数据集，结合微调 与调用能力，协同构成了具备任务型问答应用能力、生成式应用能力、判别式应用能

为代表的基于大模型底座开发的 AIGC 应 用 出现 ，引发了人工智能与传统行业融合的新一轮热潮。近期， LLaMa 模型的开源有效降低了模型开发技术难度和开发成本 ， 使开发 者可以基于预训练大模型底座进行微调构建行业垂类模型 ，使行业定制化模型成为可能。在以大模型为代表的人工智能技 术加速迭 代的背景下 ，全球各国均积极尝试在政务领域中内容生产、人人交互、信息总结、公文整理等相关环节引入大模型能力 ， 广泛场景定制化能力 依托预训练通用大模 型底座进行微调 ，所 需参数规模较低 ，训 练周期较短 支持离线部署和 升 级 ， 可有效保证 数 据安全性 ， 满足 行 业监管要求 通过在通用大模型底 座引入行业特征数据， 实现垂类大模型开发 依托通用大模型，结合行业专有数据进行训练及微调的各类行 业大模型加速落地 2017 Google ，打造完整的技术、服务、软件、硬 件、生态体系。 专业的人工智能厂商作为专业从事人工智能领域的专业企业 ，对大模型 及人工智能技术有深厚积累 ，不断强化其底层基础通用大模型能力 ，并 逐步结合行业数据微调 ，构建多行业专属大模型。在政务大模型领域， 专业的人工智能厂商更多立足于特定政务场景 ，模型专业性强 ，且与各 类厂商合作广泛 ，模型对各类基础设施及技术平台兼容性强。 由于专业 人工智能厂商更聚焦于技术的专业性

为代表的基于大模型底座开发的 AIGC 应 用 出现 ，引发了人工智能与传统行业融合的新一轮热潮。近期， LLaMa 模型的开源有效降低了模型开发技术难度和开发成本 ， 使开发 者可以基于预训练大模型底座进行微调构建行业垂类模型 ，使行业定制化模型成为可能。在以大模型为代表的人工智能技 术加速迭 代的背景下 ，全球各国均积极尝试在政务领域中内容生产、人人交互、信息总结、公文整理等相关环节引入大模型能力 ， 广泛场景定制化能力 依托预训练通用大模 型底座进行微调 ，所 需参数规模较低 ，训 练周期较短 支持离线部署和 升 级 ， 可有效保证 数 据安全性 ， 满足 行 业监管要求 通过在通用大模型底 座引入行业特征数据， 实现垂类大模型开发 依托通用大模型，结合行业专有数据进行训练及微调的各类行 业大模型加速落地 2017 Google ，打造完整的技术、服务、软件、硬 件、生态体系。 专业的人工智能厂商作为专业从事人工智能领域的专业企业 ，对大模型 及人工智能技术有深厚积累 ，不断强化其底层基础通用大模型能力 ，并 逐步结合行业数据微调 ，构建多行业专属大模型。在政务大模型领域， 专业的人工智能厂商更多立足于特定政务场景 ，模型专业性强 ，且与各 类厂商合作广泛 ，模型对各类基础设施及技术平台兼容性强。 由于专业 人工智能厂商更聚焦于技术的专业性

一方面通过财税实务 SaaS 产品提高市占率，另一方面不断完善合规税优 SaaS 产品，提高用户 ARPU 值。公司加大对财税领域垂直大语言模型的投入，基于上 百亿 token 数的财税领域预训练和微调数据，训练各类微调模型，目前已经形成 具备自主知识产权的财税大模型群，全链条赋能三层价值体系的场景应用。 关于 AI+税务落地空间如何去看待？以财税 Saas 龙头税友为例，1）面向 B 端：截至 2

法律文本数 据来进行预训练和微调。具体而言，可以从以下几点来安排模型的 训练和应用流程：  收集和整理法律文本数据，包括判决书、法律条款、政策法规 等。  进行数据清洗处理，去除无关信息，保证数据的有效性和准确 性。  使用强大的计算资源对生成模型进行预训练，完成对法律语料 的深度学习。  针对具体任务（比如法律咨询生成、文书撰写等）进行微调， 提高模型的针对性和实用性。 在模型选择方面，初期我们有多种架构可供选用，例如 BERT、GPT 等预训练模型。考虑到我们的具体需求，即政务领域 的知识理解与文本生成，我们将选择基于 Transformer 架构的模 型进行微调。预训练模型在大规模通用数据上进行初步训练，随后 经过精调，使其适应法制项目的特定需求。 训练过程中，应注意批次大小、学习率等超参数的调整。我们 将使用学习率衰减策略，以动态地优化学习率。同时，采用早停法 。在资源 有限的情况下，可以优先选择小型但高效的模型，或使用模型 压缩技术以降低其资源消耗。 4. 模型适应性：法律文本具有高度的专业性和复杂性，因此选择 一个能够通过额外的法律领域数据进行微调的预训练模型尤为 重要。这样可以确保模型能够较好地适应特定行业的需要。 基于以上因素，初步选型考虑如下： 模型 优势 劣势 适用场景 BERT 强大的文本理解能力，适合 分类和问答任务 在生成任务上效果差

提供高质量的数据支持。 算法层是平台的智能化引擎，集成了多种先进的大模型技术， 包括自然语言处理、计算机视觉和知识图谱等。针对政务办公场 景，平台设计了专用的大模型训练和优化框架，支持分布式训练和 模型微调，以提升模型的准确性和适应性。模型管理模块实现了从 模型开发、测试到部署的全生命周期管理，确保模型的高效迭代和 稳定运行。 服务层通过 API 网关和微服务架构，将底层算法能力封装为标 准化 Spark）实现海量数据的高效存储与处理。 算法层是平台的核心部分，基于大模型技术（如 GPT、BERT 等）构建了多种政务办公场景下的智能化算法模块。平台支持自研 模型和第三方模型的集成，通过模型训练、微调、压缩等技术手 段，提升模型的精度和效率。算法层还实现了模型的可解释性和安 全性设计，确保模型的决策过程透明可信，并满足政务数据的安全 合规要求。 服务层提供统一的 API 接口和服务编排能力，支持多种服务模 在模型训练过程中，采用渐进式训练策略，结合迁移学习和领 域适应技术，将通用大模型（如 GPT、BERT）快速适配到政务场 景。训练过程分为预训练和微调两个阶段： 1. 预训练阶段：基于大规模政务通用数据集，训练基础模型，学 习通用语义表示。 2. 微调阶段：针对具体政务任务（如公文生成、智能问答），在 特定数据集上进行精细化训练，提升模型在目标场景中的表 现。 为提升训练效果，引入多任务学习和混合精度训练技术。多任