........................................41 3. 模型微调策略设计......................................................................................42 3.1 微调目标定义............................................. 1.2 微调效果的评估指标.................................................................48 3.2 微调方法选择......................................................................................50 3.2.1 全量微调与部分微调比较.. 型的提出，旨在通过大语言模型（LLM）的强大能力，实现政务数 据的智能化处理、分析和决策支持，从而推动政务管理的现代化转 型。 该项目的主要目标是通过对 DeepSeek 大模型进行微调，使其 能够更好地适应政务领域的特定需求。具体而言，微调后的模型将 具备以下能力：  智能化数据处理：能够高效处理来自不同政务系统的结构化与 非结构化数据，如公文、报告、法律法规等，实现信息的自动 化提取、分类和归档。

.......................................................................................61 4.2.1 模型微调模块................................................................................63 4.2.2 业务逻辑集成模块 ..................................87 6. 模型微调与优化...............................................................................................89 6.1 领域适配微调........................................... .....93 6.1.1 金融术语与业务规则注入............................................................95 6.1.2 场景化微调（如信贷审批、投资建议）.....................................97 6.2 性能优化策略....................................

..94 6.2 模型微调策略............................................................................................................................................................97 6.2.1 领域适应微调............ 上下文理解模块：基于 64 层 Transformer 解码器堆叠，每层 配备 128 头自注意力机制，支持最长 8k token 的上下文窗 口，足以覆盖保险条款全文  任务适配层：通过 LoRA 微调技术实现预训练模型向理赔场景 的快速迁移，仅需更新 0.1%参数即可适配核保规则变更 在架构设计上，模型采用动态计算路径优化技术。对于简单理 赔案件（如小额医疗险），模型自动激活浅层网络分支，推理延迟 85%案件的自动通过率。 模型针对保险行业特别优化的训练体系包含： - 领域自适应预训练：在 1200GB 保险专业语料上持续训练 - 对抗样本训练：包含 8 类常见欺诈模式的对抗数据集 - 条款对齐微调：使用对比学习技术确保输出与保险条款的严格对 应 实时服务能力通过以下技术实现保障： | 指标 | 性能参数 | 行业基准 | |———————|——————–|—————-|

政策法规 5405 219 82 107 47 公开报告 577 文献期刊 基础知识 48 26 规划文本 19 293 技术标准 33 10 2 总计 6472 219 218 504 16 微调测评 数据 文本问答对 546 30 97 182 Sal 问答对 285 46 总计 731 76 97 182 1.1 工作背景 —— 自然资源部“后土”大模型 后土大模型 以 空间对象为核心的“跨模态”大模型 …… 一 个 构 建 平 台 格局优化 绿色低碳 底线守护 N 个 智 能 体 应 用 行业业务微调 业务价值对齐 检索增强 算力基础 知识图谱 文本 规则模型 环境 图文对 视频图像 实体分类 空间 边 缘 计 算 高性能存储 专业 AI 芯片 Gpu 算力 …… 整治修复 国土资源部办公厅关于加强全国矿产资源潜力评价成果管… .2025/3/619:28 训练语料 样本库 多模态理解微调 特定任务标注 正反例百条 图文对 多模态理解模型微调 图像 / 视频 + 文本描述 ( 十万 级 ) 多模态 QA 结果排序 ( 万 级 ) 问答对 大语言模型微调 千条 ~ 万条 QA 对 形成宁波市自然资源行业知识库，为城市大模型建设提供权威行业语料 标 准 化

• 实时响应：本地处理消除网络延迟，提升高频 交互场景（如客服、实时翻译）的体验。 • 资源独占：硬件资源专用于模型推理，避免云 服务多租户环境下的资源争抢。 v 4. 高度定制化 • 模型微调：可根据企业垂直领域（如法律、医 疗）调整模型参数，提升专业场景的准确性。 • 系统集成：灵活对接内部数据库、ERP等系统， 实现个性化功能。 • 版本控制：自由选择或回滚模型版本，避免云 用Gensim库分析小说中的人物关系 4 12 大语言模型与生成式人工智能 有关概念：AIGC与LLM、GAI与AGI、GPT与ChatGPT、预训练与微调以及AI造假 公开数据集：中英文及工具、 LLM平台 2 13 预训练微调和多模态模型 私人助手定制：聊天大语言模型、微调大语言模型、本地部署DeepSeek-R1； 多模态大语言模型：AI绘画、扩散模型和 MLLM研究前沿 2 总计 32 49 总结如何教、如何学 DeepSeek 浙大通识课程内容 v 实验作业： – DeepSeek本地化部署实验 – DeepSeek微调+业务数据实验 – DeepSeek综合应用大作业 v 教材内容： – 增加DeepSeek介绍、 DeepSeek部署和微调 v 教材案例： – 增加DeepSeek部署 和微调案例 赋能浙大人工智能通识教育（以课程建设为例） 56 浙大通识课程支撑浙江省本科高校人工智能通识课程“名师名课”建设

，在自然语言处理研究中具有重要的 作 用 ，是自然语言处理的基础任务之一。包括： n 元语言模型、 神经语言模型、 预训 练语言模型。 随着基于 Transformer 的各类语言模型的发展及预训练微调范式在自然语言处理 各 Transformer 结构是由谷歌在 2017 年提出并 首 先应用于机器翻译 Transformer 结构完全通过注意力机制完成对源 语 言序列和目标语言序列全局依赖的建模 Softmax Linear Add & Norm 输出概率 输入 N × ×N 预训练阶段 1000+GPU 月级别训练时间 GPT 3.0 、 DeepSeek 、 ,qwen 指令微调 1-100GPU 天级别训练时间 MOSS 、 ChatGLM6b 、 Vicuna-13B 等 奖励函数 1-100GPU 天级别训练时间 强化学习 1-100GPU 天级别训练时间 Norm Add & Norm Add & Norm Softmax Linear Add & Norm 输出概率 输入 N × ×N 有监督微调（ Supervised Finetuning ） ，也称为指令微调 ，利用少量高质量数 据 集合 ，包含用户输入的提示词和对应的理想输出结果。用户输入包括问题、 闲聊 对 话、任务指令等多种形式和任务。 例如：提示词（ Prompt

...................................56 5.2 微调策略.............................................................................................57 5.2.1 领域特定微调............................................ 最后，模型的持续优化是确保其长期有效性的关键。通过定期 更新训练数据，引入最新的建筑设计案例和技术规范，保持模型的 前沿性。同时，建立模型的自动更新机制，基于用户反馈和使用数 据，自动进行模型微调和优化，确保其在实际应用中的高效性和可 靠性。 通过上述方案，模型在建筑设计领域的应用将更加精准和高 效，助力建筑设计行业的智能化发展。 5.1 预训练模型选择 在建筑设计领域接入 DeepSeek 数据准备：收集建筑设计相关的文本、图像和三维模型数据， 确保数据质量和多样性。 2. 模型集成：将 GPT-4、CLIP 和 PointNet 进行集成，形成一个 多模态处理框架。 3. 微调与优化：在建筑设计的特定数据集上进行微调，确保模型 能够理解建筑设计的专业知识和需求。 4. 性能评估：通过多轮测试和评估，确保模型在生成、推理和预 测任务中的性能达到预期。 通过以上步骤，可以选择并优化出一个适合建筑设计的预训练

大模型推理优化 大模型微调 RLHF 能力分类 开源框架 大厂 澜码 业务能力 智能化咨询 O O � 知识/流程治理 O º � 业务理解 O O º 预置应用 � � º 产品能力 多Agent协作 º º º 工作流 º º � RAG � � � ABI O O º 工程技术 Prompt优化 º � � 动态路由模型 º O � 模型微调 O º º 仿真评测 加灵活智 能的手段来解决。同时由于行业监管的要求需要私有化部署 【数据中台】+【澜码AI中台】 通过生成式SQL及生成式BI的方案，可以通过对话实现灵活丰富 的数据获取。交付澜码的SQL代码生成微调模型，目前准确率已 90%+，继续优化中，预计可至95%+ 数据应用 灵活用数（一期一阶段） 日常报表（一期二阶段） 业务赋能（后期拓展） 数据中台 （已有中台能力） AI平台 -后期拓展

通话记录。例如，在车险定损场景中，模型能通过图像识别自动判 断损伤等级，准确率较传统 CV 模型提升 23%（实测数据达 92.4%），同时生成符合保司规范的定损报告初稿。 行业知识融合能力 通过保险专属知识库微调，模型掌握了精算原理、条款解读等专业 领域知识。测试显示，在健康险咨询场景中，DeepSeek 对免责条 款的解释准确率达到 98.7%，显著高于通用大模型的 82.1%。关键 性能对比如下： 人工+AI”协同模式，屏幕侧边栏实时推送客户历史保单 和沟通记录供人工参考。 数据安全与合规保障 采用双加密通道传输数据，对话内容经脱敏处理后存储，符合银保 监会《保险业数据安全管理规范》。通过定期模型微调，将保险术 语解释的合规性错误率控制在 0.2%以下。 该方案已在某头部寿险公司落地，实现客服人力优化 37%，同 时将新员工培训周期从 3 周缩短至 5 天。后续将通过客户对话数据 持续优化模型，计划在 案件编号/医疗凭证/定损金额 每日增量 字段级 AES-256 加密 第三阶段：智能体训练与测试（3 个月） 采用小步快跑迭代策 略： 1. 基线模型选择：基于 Deepseek-R1 保险专用模型微调，相 比通用模型在保险术语理解准确率提升 32% 2. 场景化训练：注入 保险条款、监管政策等知识库（建议训练数据量≥50 万条） 3. A/B 测试：在试点渠道（如微信小程序）部署对比测试，关键指标监控

1. 样本优化：通过样本优化技术，建立倒排定位，不断通过模型 微调自动化测试跑校验集，以实现高质量的逻辑链路。 2. 去重优化：通过专家高质量输入，淘汰低质句子及篇章粒度去 重，从而保证了文本的质量。 3. 算法优化：对算法模型本身进行了优化，包括位置编码优化、 中文语义优化、激活层非线性兼容、前向网络自适应、SFT 微调层、指 导学习新知识，以及融合了 ReAct 的“推理-行为-观察-再推理-行为-