........................................41 3. 模型微调策略设计......................................................................................42 3.1 微调目标定义............................................. 1.2 微调效果的评估指标.................................................................48 3.2 微调方法选择......................................................................................50 3.2.1 全量微调与部分微调比较.. 型的提出，旨在通过大语言模型（LLM）的强大能力，实现政务数 据的智能化处理、分析和决策支持，从而推动政务管理的现代化转 型。 该项目的主要目标是通过对 DeepSeek 大模型进行微调，使其 能够更好地适应政务领域的特定需求。具体而言，微调后的模型将 具备以下能力：  智能化数据处理：能够高效处理来自不同政务系统的结构化与 非结构化数据，如公文、报告、法律法规等，实现信息的自动 化提取、分类和归档。

系统关键数据变量在一段时间内的平 均值和标准偏差 X6 系统关键数据变量在正常运行时的平 均值和标准偏差 X7 系统可能存在的状态选项 X8 回答格式要求 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调 42/80 基于模板格式，自动填充相应内容，批量化生成用于大语言模型故障检测与诊断的提示词 from openai import OpenAI client=OpenAIO 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调 43/80 {"prompt": "", "completion": ""} 对原始模型进行能力测试，结合标注信息使其自纠正错误诊断内容，构建语料，微调大模型 生成微调模型 模型微调数据集 1. 测试原模型能力 2. 模型的自我纠正 检测诊断精度 诊断错误的对话 大模型自我纠正 3. 模型微调 故障检测与诊断能 力测试提示词库 原始大模型 Accuracy(% ) Normal Fault I … 生成 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调

具备强大推理能力与长文本思考能力，继开源来备受关注。 ➢ DeepSeek R1-Zero 和 R1的出现再次证明了强化学习的潜力所在： ➢ R1-Zero 从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（SFT）； ➢ 随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力； ➢ 随着推理路径增长，模型表现出自我修复和启发式搜索的能力； 4 DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 Effective than Scaling Model Parameters 8 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 DeepSeek-v3-Base (671B) DeepSeek-R1-Zero 基于规则的奖励 Rule-Based Reward 推理为中心的大规模强化学习 大规模推理为中心的强化学习，提升模型数学代码能力 RL驱动下自然涌现长文本推理能力 9 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 ➢ 奖励建模：基于规则的奖励 (Rule-Based Reward) : 准确率奖励 + 格式奖励 ➢ 准确率奖励 Accuracy Rewards: 判断答案是否是正确的

大泛化能力，可在不进行微调或少 量微调的情况下完成多场景任务， 相当于AI完成了“通识教育” 通用大模型L0 是指那些针对特定行业或领域的大 模型。它们通常使用行业相关的数 据进行预训练或微调，以提高在该 领域的性能和准确度，相当于AI成 为“行业专家” 行业大模型L1 是指那些针对特定任务或场景的大 模型。它们通常使用任务相关的数 据进行预训练或微调，以提高在该 任务上的性能和效果 总 结，大大降低了知识管理的落地门槛 知识管理 数据分析是企业决策的重要依据。大模型技术通过引入编 程能力，可以大大降低数据分析成本。然而，目前大模型 在特定业务场景下的效果仍需优化，模型微调是一种解决 办法 数据分析 在软件开发领域，大模型技术可以作为编码助手，提升工 程师的工作效率。通过AI编程助手，减少了重复劳动，提 升了代码质量 编码助手 4.3 企业大模型的部署方式 DeepSeek 大模型 —— 让企业拥有 “数字大脑” 厦大团队两本数据治理书籍 4.5 企业部署大模型规划路线 构建企业内部知识库 （RAG系统） 短期（0-6月） 开发行业专属大模型 （模型微调） 中期（6-18月） 搭建AI Agent工作流 （企业智能体） 长期（18月+） 4.6 企业级应用集成AI大模型的关键步骤 企业首先需要明确AI应用的具体场景，如文 本生成、情感分析、图片理解和生成等。这

进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 模型 。 它们通常使用行业相关的 数 据进行预训练或微调， 以提高 在该 领域的性能和准确度，相当 于 AI 成 为“行业专家” 垂直大模型 L2 是指那些针对特定任务或场景的大 模型 。 它们通常使用任务相关的 数 据进行预训练或微调， 以提高 数据隐私与安全性 避免使用限制 定制化与灵活性 模型微调技术特点 （ 1 ）领域针对性强： 经过微调的 模 型在特定领域的表现会有显著提 升 ， 能够更好地理解和处理该领域 的专业 问题； （ 2 ）模型适应性优化： 通过微调 可 以调整模型的参数 ，使其更符合 特定 任务的要求 ，提高输出的准确 性和稳 定性。 模型微调和本地知识库 使用海量数据进行预训练得到的基础 大模型 不 够精准。 解决方案： （ 1 ）模型微调；（ 2 ）本地知识 库 模型微调技术要点 （ 1 ）高质量的标注数据： 标注数 据 的质量直接影响微调的效果 ， 需 要确 保数据标注的准确性和一致性。 （ 2 ）合理的微调策略： 选择合适 的 微调算法和超参数 ，避免过拟合 或欠 拟合问题。 4.4 本地部署大模型方 案 在监督微调阶段 ，模型会学习一个 指令 - 响应（ Instruction-Response

极致性能、稳定可靠的 AI 集群 • 深度开放的平台和生态 • 极致的端到端性能效率优化 关注便捷、易用、性价比的平台 • 开箱即用的强化学习套件 • 兼顾成本与性能的蒸馏 / 微调方 案 • 便捷的部署、敏捷业务上线 DeepSeek-V3-671B DeepSeek-R1-671B DeepSeek-R1-Distill-Qwen-32B DeepS +ISV/ 云，商业模式逐渐成熟 DeepSeek 能力提升成为各行业生产力工具，加速推理落地千行 百业 DeepSeek 催熟大模型落地技术， 降低推理部署门 槛 行业大模型 大量行业数据 监督微调 SFT 基础模型 Llama 、 Qwen 、 … 开箱即用的一体机，加速大模型应用落地 华为云 移动云 电信天翼云 联通云 京东云 基础模型 (DeepSeek/ Llama/Qwen/…) AWS 微软 Azure 部署更高效 月级调优 周 / 天级优 化 数据依赖降低 高质量数据 生成数据 算法依赖降低 高端人才 开源 + 蒸 馏 监督微调 SFT NVIDIA Hugging Face GitHub 更多行业 高质量数据生成 强化学习 主流云服务商已支持 DS 覆盖公 / 私有云部署 模型蒸馏 - 模型小型化

· · 107 企微运维机器人· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 108 华农保险大模型微调效果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 111 众安AIGC中台-众有灵犀· · · · · · · · · · /开源数据集、企业自有数据以及AI 合成数据。大模型训练和微调所需数据量快速增长，真实世界数据将在数年内被用尽。研 究机构Epoch估计，机器学习可能会在2026年前耗尽所有“高质量语言数据”。据Gartner 预测，2024年用于训练AI的数据中有60%将是合成数据。以Meta今年7月发布的 LLaMA3.1模型为例，监督微调环节的数据里有相当比例是合成数据，使用合成数据确实 带来了模型效果的提升。 带来了模型效果的提升。 （1）合成数据成有力补充 高质量的真实数据已逐渐无法满足大模型训练与精细微调的需要，这促使合成数据 作为真实数据的重要补充，在人工智能领域扮演着日益关键的角色。合成数据作为算法、 生成模型及模拟技术的产物，能够模仿现实世界数据的特征与模式，为大模型的训练与优 化提供丰富的数据资源。 以AlphaGeometry项目为例，该项目通过生成高达一亿个精准合成的数据点，为解决

.......................................................................................61 4.2.1 模型微调模块................................................................................63 4.2.2 业务逻辑集成模块 ..................................87 6. 模型微调与优化...............................................................................................89 6.1 领域适配微调........................................... .....93 6.1.1 金融术语与业务规则注入............................................................95 6.1.2 场景化微调（如信贷审批、投资建议）.....................................97 6.2 性能优化策略....................................

邀请码： z0sI0urY 邀请链接： https://cloud.siliconflow.cn/i/z0sI0urY 通过创建 API key 调 用 模型微调工程 u 对话模型微调 u 生图模型微调 华为云模型微调 老师模型 模型蒸馏工程 DeepSeek ： 推理模型 | 推理能力 蒸馏 DeepSeek 蒸馏模 型 学生模型 小模型：相当于一枚小学生 ，知识面非常有限 蒸馏、微调、 RAG 微调： 又叫精调 ，相当于学生意识到自己某门课有 短 板 ，然后自己找参考书恶补了一下 ，从而补上短 板 蒸馏： 是学生通过模仿老师的解题思路 ，达到和老 师 相似的知识水平。 RAG ： 直译过来叫做“检索增强生成 ” 。 相当于这题我不会， 但是我有“小抄 ” ， 我回 答的时候， 就看一眼小抄， 然后再综合我脑子里的已有知识， 进行回答。 蒸馏、微调、 RAG

.......................................................................................96 6.1.2 模型微调与迭代优化.............................................................................................. 智能体方案 异常检测覆盖率 预设规则覆盖 65%场 景 机器学习识别 92%场景 工作底稿生成效率 4 小时/份 20 分钟/份（自动校验） 在技术实现路径上，我们采用分层架构设计：底层通过微调后 的 DeepSeek 模型处理非结构化文档，中间层构建审计知识图谱实 现条款关联，应用层则部署风险预警、抽样推荐等具体功能模块。 某试点项目数据显示，该方案使应收账款函证程序的耗时缩短 57%，同时将异常交易检出率提升 40%；其次，风险预测模块通过分析 历史审计案例库，可自动生成高风险科目预警清单，在试点项目中 成功识别出 87%的关联方交易异常；最后，其持续学习机制允许接 入会计师事务所的私有知识库，例如某四大事务所通过微调模型使 其掌握了该所特有的工作底稿编码规则。 审计场景关键能力对照表 | 功能模块 | 技术实现方案 | 审计价 值指标 | |—————–|—————————————|