........................................41 3. 模型微调策略设计......................................................................................42 3.1 微调目标定义............................................. 1.2 微调效果的评估指标.................................................................48 3.2 微调方法选择......................................................................................50 3.2.1 全量微调与部分微调比较.. 型的提出，旨在通过大语言模型（LLM）的强大能力，实现政务数 据的智能化处理、分析和决策支持，从而推动政务管理的现代化转 型。 该项目的主要目标是通过对 DeepSeek 大模型进行微调，使其 能够更好地适应政务领域的特定需求。具体而言，微调后的模型将 具备以下能力：  智能化数据处理：能够高效处理来自不同政务系统的结构化与 非结构化数据，如公文、报告、法律法规等，实现信息的自动 化提取、分类和归档。

.......................................................................................61 4.2.1 模型微调模块................................................................................63 4.2.2 业务逻辑集成模块 ..................................87 6. 模型微调与优化...............................................................................................89 6.1 领域适配微调........................................... .....93 6.1.1 金融术语与业务规则注入............................................................95 6.1.2 场景化微调（如信贷审批、投资建议）.....................................97 6.2 性能优化策略....................................

..94 6.2 模型微调策略............................................................................................................................................................97 6.2.1 领域适应微调............ 上下文理解模块：基于 64 层 Transformer 解码器堆叠，每层 配备 128 头自注意力机制，支持最长 8k token 的上下文窗 口，足以覆盖保险条款全文  任务适配层：通过 LoRA 微调技术实现预训练模型向理赔场景 的快速迁移，仅需更新 0.1%参数即可适配核保规则变更 在架构设计上，模型采用动态计算路径优化技术。对于简单理 赔案件（如小额医疗险），模型自动激活浅层网络分支，推理延迟 85%案件的自动通过率。 模型针对保险行业特别优化的训练体系包含： - 领域自适应预训练：在 1200GB 保险专业语料上持续训练 - 对抗样本训练：包含 8 类常见欺诈模式的对抗数据集 - 条款对齐微调：使用对比学习技术确保输出与保险条款的严格对 应 实时服务能力通过以下技术实现保障： | 指标 | 性能参数 | 行业基准 | |———————|——————–|—————-|

政策法规 5405 219 82 107 47 公开报告 577 文献期刊 基础知识 48 26 规划文本 19 293 技术标准 33 10 2 总计 6472 219 218 504 16 微调测评 数据 文本问答对 546 30 97 182 Sal 问答对 285 46 总计 731 76 97 182 1.1 工作背景 —— 自然资源部“后土”大模型 后土大模型 以 空间对象为核心的“跨模态”大模型 …… 一 个 构 建 平 台 格局优化 绿色低碳 底线守护 N 个 智 能 体 应 用 行业业务微调 业务价值对齐 检索增强 算力基础 知识图谱 文本 规则模型 环境 图文对 视频图像 实体分类 空间 边 缘 计 算 高性能存储 专业 AI 芯片 Gpu 算力 …… 整治修复 国土资源部办公厅关于加强全国矿产资源潜力评价成果管… .2025/3/619:28 训练语料 样本库 多模态理解微调 特定任务标注 正反例百条 图文对 多模态理解模型微调 图像 / 视频 + 文本描述 ( 十万 级 ) 多模态 QA 结果排序 ( 万 级 ) 问答对 大语言模型微调 千条 ~ 万条 QA 对 形成宁波市自然资源行业知识库，为城市大模型建设提供权威行业语料 标 准 化

• 实时响应：本地处理消除网络延迟，提升高频 交互场景（如客服、实时翻译）的体验。 • 资源独占：硬件资源专用于模型推理，避免云 服务多租户环境下的资源争抢。 v 4. 高度定制化 • 模型微调：可根据企业垂直领域（如法律、医 疗）调整模型参数，提升专业场景的准确性。 • 系统集成：灵活对接内部数据库、ERP等系统， 实现个性化功能。 • 版本控制：自由选择或回滚模型版本，避免云 用Gensim库分析小说中的人物关系 4 12 大语言模型与生成式人工智能 有关概念：AIGC与LLM、GAI与AGI、GPT与ChatGPT、预训练与微调以及AI造假 公开数据集：中英文及工具、 LLM平台 2 13 预训练微调和多模态模型 私人助手定制：聊天大语言模型、微调大语言模型、本地部署DeepSeek-R1； 多模态大语言模型：AI绘画、扩散模型和 MLLM研究前沿 2 总计 32 49 总结如何教、如何学 DeepSeek 浙大通识课程内容 v 实验作业： – DeepSeek本地化部署实验 – DeepSeek微调+业务数据实验 – DeepSeek综合应用大作业 v 教材内容： – 增加DeepSeek介绍、 DeepSeek部署和微调 v 教材案例： – 增加DeepSeek部署 和微调案例 赋能浙大人工智能通识教育（以课程建设为例） 56 浙大通识课程支撑浙江省本科高校人工智能通识课程“名师名课”建设

，在自然语言处理研究中具有重要的 作 用 ，是自然语言处理的基础任务之一。包括： n 元语言模型、 神经语言模型、 预训 练语言模型。 随着基于 Transformer 的各类语言模型的发展及预训练微调范式在自然语言处理 各 Transformer 结构是由谷歌在 2017 年提出并 首 先应用于机器翻译 Transformer 结构完全通过注意力机制完成对源 语 言序列和目标语言序列全局依赖的建模 Softmax Linear Add & Norm 输出概率 输入 N × ×N 预训练阶段 1000+GPU 月级别训练时间 GPT 3.0 、 DeepSeek 、 ,qwen 指令微调 1-100GPU 天级别训练时间 MOSS 、 ChatGLM6b 、 Vicuna-13B 等 奖励函数 1-100GPU 天级别训练时间 强化学习 1-100GPU 天级别训练时间 Norm Add & Norm Add & Norm Softmax Linear Add & Norm 输出概率 输入 N × ×N 有监督微调（ Supervised Finetuning ） ，也称为指令微调 ，利用少量高质量数 据 集合 ，包含用户输入的提示词和对应的理想输出结果。用户输入包括问题、 闲聊 对 话、任务指令等多种形式和任务。 例如：提示词（ Prompt

通话记录。例如，在车险定损场景中，模型能通过图像识别自动判 断损伤等级，准确率较传统 CV 模型提升 23%（实测数据达 92.4%），同时生成符合保司规范的定损报告初稿。 行业知识融合能力 通过保险专属知识库微调，模型掌握了精算原理、条款解读等专业 领域知识。测试显示，在健康险咨询场景中，DeepSeek 对免责条 款的解释准确率达到 98.7%，显著高于通用大模型的 82.1%。关键 性能对比如下： 人工+AI”协同模式，屏幕侧边栏实时推送客户历史保单 和沟通记录供人工参考。 数据安全与合规保障 采用双加密通道传输数据，对话内容经脱敏处理后存储，符合银保 监会《保险业数据安全管理规范》。通过定期模型微调，将保险术 语解释的合规性错误率控制在 0.2%以下。 该方案已在某头部寿险公司落地，实现客服人力优化 37%，同 时将新员工培训周期从 3 周缩短至 5 天。后续将通过客户对话数据 持续优化模型，计划在 案件编号/医疗凭证/定损金额 每日增量 字段级 AES-256 加密 第三阶段：智能体训练与测试（3 个月） 采用小步快跑迭代策 略： 1. 基线模型选择：基于 Deepseek-R1 保险专用模型微调，相 比通用模型在保险术语理解准确率提升 32% 2. 场景化训练：注入 保险条款、监管政策等知识库（建议训练数据量≥50 万条） 3. A/B 测试：在试点渠道（如微信小程序）部署对比测试，关键指标监控

1. 样本优化：通过样本优化技术，建立倒排定位，不断通过模型 微调自动化测试跑校验集，以实现高质量的逻辑链路。 2. 去重优化：通过专家高质量输入，淘汰低质句子及篇章粒度去 重，从而保证了文本的质量。 3. 算法优化：对算法模型本身进行了优化，包括位置编码优化、 中文语义优化、激活层非线性兼容、前向网络自适应、SFT 微调层、指 导学习新知识，以及融合了 ReAct 的“推理-行为-观察-再推理-行为-

内容可控 性的政务大模型。 严密推理、精准调度能力：星智政务垂直领域大模型以微调训练为核心，面向 语言、图表、报告、舆情等多模态场景下的政务知识进行微调训练，对相关信息进行 推演和研判，并实现数据、图表、业务应用 API 的精准调用及生成。 多元决策、人格创作能力：集成内源向量数据库与外源插件数据集，结合微调 与调用能力，协同构成了具备任务型问答应用能力、生成式应用能力、判别式应用能

类似一个攻防专家。 大模型突出的“语言”能力，高效解析安全文本 自注意力机制的引入，大大减轻了遗忘问题并提高了上下文关联性的识别。 颜色越深说明与生成词之间的相关性越高。 具备能力 预训练 微调 DNS 隐秘隧道检测 DNS 日志 域名有效信息熵、访问行为特征 随机森林 DGA 检测 DNS 日志 域名文法特征、访问行为特征 NLP 、 图分析 新核心域名检测 DNS 日志 域名文法特征、访问行为特征 侧 事件 … 智能可视化展示 场景针对性 安全建议 脆弱性 端侧 网络 攻击详情 告警风险 数据 日志 事件与告警 其他语料库 [ 预 ] 训 练 微调 模型 深信服安全 GPT 任务 聊天交互 日志关联 事件分析 建议生成 辅助驾驶模式：对话式的辅助安全运营 ! 数据源 查询反 馈 ! 数据理解 大 模 型 用 户 安 全 助 手 数据 高质量场景语料 有监督标注数据 架构 云、网、端打通 算法模型迭代运营 模型产品化 训练 / 微调 Prompt tuning LoRA RLHF … 专家 懂安全 懂 AI 懂产品 结语：深信服带来人工智能驱动的安全产品体系 全面拥抱大模型，安全 GPT 赋 能 全产品线