........................................41 3. 模型微调策略设计......................................................................................42 3.1 微调目标定义............................................. 1.2 微调效果的评估指标.................................................................48 3.2 微调方法选择......................................................................................50 3.2.1 全量微调与部分微调比较.. 型的提出，旨在通过大语言模型（LLM）的强大能力，实现政务数 据的智能化处理、分析和决策支持，从而推动政务管理的现代化转 型。 该项目的主要目标是通过对 DeepSeek 大模型进行微调，使其 能够更好地适应政务领域的特定需求。具体而言，微调后的模型将 具备以下能力：  智能化数据处理：能够高效处理来自不同政务系统的结构化与 非结构化数据，如公文、报告、法律法规等，实现信息的自动 化提取、分类和归档。

.......................................................................................79 4.2.2 模型微调策略................................................................................................. .86 5. 微调方案实施........................................................................................................................................................................89 5.1 微调目标设定.... ...........................................................................................94 5.2 微调方法选择...............................................................................................

系统关键数据变量在一段时间内的平 均值和标准偏差 X6 系统关键数据变量在正常运行时的平 均值和标准偏差 X7 系统可能存在的状态选项 X8 回答格式要求 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调 42/80 基于模板格式，自动填充相应内容，批量化生成用于大语言模型故障检测与诊断的提示词 from openai import OpenAI client=OpenAIO 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调 43/80 {"prompt": "", "completion": ""} 对原始模型进行能力测试，结合标注信息使其自纠正错误诊断内容，构建语料，微调大模型 生成微调模型 模型微调数据集 1. 测试原模型能力 2. 模型的自我纠正 检测诊断精度 诊断错误的对话 大模型自我纠正 3. 模型微调 故障检测与诊断能 力测试提示词库 原始大模型 Accuracy(% ) Normal Fault I … 生成 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调

具备强大推理能力与长文本思考能力，继开源来备受关注。 DeepSeek R1-Zero 和 R1 的出现再次证明了强化学习的潜力所在： R1-Zero 从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（ SFT ）； 随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力； 随着推理路径增长，模型表现出自我修复和启发式搜索的能力； DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 Compute Optimallycan be More Effective than Scaling Model Parameters Laws [1] 。 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero model 需要大量的计算资源，可能会复杂化整个流程 训练模板： 选择最简单的 Thinking Process ， 直接观察到最直接的 RL 过程下的表现 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero

具备强大推理能力与长文本思考能力，继开源来备受关注。 ➢ DeepSeek R1-Zero 和 R1的出现再次证明了强化学习的潜力所在： ➢ R1-Zero 从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（SFT）； ➢ 随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力； ➢ 随着推理路径增长，模型表现出自我修复和启发式搜索的能力； 4 DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 Effective than Scaling Model Parameters 8 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 DeepSeek-v3-Base (671B) DeepSeek-R1-Zero 基于规则的奖励 Rule-Based Reward 推理为中心的大规模强化学习 大规模推理为中心的强化学习，提升模型数学代码能力 RL驱动下自然涌现长文本推理能力 9 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 ➢ 奖励建模：基于规则的奖励 (Rule-Based Reward) : 准确率奖励 + 格式奖励 ➢ 准确率奖励 Accuracy Rewards: 判断答案是否是正确的

................................................................................... 11 3.2. 模式二：微调 .................................................................................................. 大模型的构建可以分为两个关键阶段，一个是预训练阶段，一个是微调阶段。预 训练主要基于大量无标注的数据进行训练，微调是指已经预训练好的模型基础上，使 用特定的数据集进行进一步的训练，以使模型适应特定任务或领域。针对工业大模型， 一是可以基于大量工业数据和通用数据打造预训练工业大模型，支持各类应用的开发。 二是可以在基础大模型上通过工业数据进行微调，适配特定工业任务。三是可以在不 改变模型参数的情 式的缺点是需要大量的 高质量工业数据集，以及庞大的算力资源，对成本和能力的要求较高，面临技术和资 源的巨大挑战。在最终应用前，无监督预训练工业大模型与 GPT3 类似，同样需要通过 适当的指令微调、奖励学习、强化学习等阶段，形成面向最终场景的应用能力。 SymphonyAI 3推出了基于无监督预训练的工业大语言模型，该模型的训练数据包 含 3 万亿个数据点，12 亿 token，能够支

大泛化能力，可在不进行微调或少 量微调的情况下完成多场景任务， 相当于AI完成了“通识教育” 通用大模型L0 是指那些针对特定行业或领域的大 模型。它们通常使用行业相关的数 据进行预训练或微调，以提高在该 领域的性能和准确度，相当于AI成 为“行业专家” 行业大模型L1 是指那些针对特定任务或场景的大 模型。它们通常使用任务相关的数 据进行预训练或微调，以提高在该 任务上的性能和效果 总 结，大大降低了知识管理的落地门槛 知识管理 数据分析是企业决策的重要依据。大模型技术通过引入编 程能力，可以大大降低数据分析成本。然而，目前大模型 在特定业务场景下的效果仍需优化，模型微调是一种解决 办法 数据分析 在软件开发领域，大模型技术可以作为编码助手，提升工 程师的工作效率。通过AI编程助手，减少了重复劳动，提 升了代码质量 编码助手 4.3 企业大模型的部署方式 DeepSeek 大模型 —— 让企业拥有 “数字大脑” 厦大团队两本数据治理书籍 4.5 企业部署大模型规划路线 构建企业内部知识库 （RAG系统） 短期（0-6月） 开发行业专属大模型 （模型微调） 中期（6-18月） 搭建AI Agent工作流 （企业智能体） 长期（18月+） 4.6 企业级应用集成AI大模型的关键步骤 企业首先需要明确AI应用的具体场景，如文 本生成、情感分析、图片理解和生成等。这

意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention 自注意力机制：使序列中的每个单词都能 Richard Sutton （强化学习之父 ，阿尔 伯塔大学 教授， DeepMind 科学家） 折扣因子 监督微调 强化学习 图源自《 ReFT: Reasoning with Reinforced Fine-Tuning 》 DeepSeek-R1 ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的模型压缩技术 ，其 核心目标是在保持模型性能的同时 ，显著降低模型的计算复杂度和存储需求

进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 模型 。 它们通常使用行业相关的 数 据进行预训练或微调， 以提高 在该 领域的性能和准确度，相当 于 AI 成 为“行业专家” 垂直大模型 L2 是指那些针对特定任务或场景的大 模型 。 它们通常使用任务相关的 数 据进行预训练或微调， 以提高 数据隐私与安全性 避免使用限制 定制化与灵活性 模型微调技术特点 （ 1 ）领域针对性强： 经过微调的 模 型在特定领域的表现会有显著提 升 ， 能够更好地理解和处理该领域 的专业 问题； （ 2 ）模型适应性优化： 通过微调 可 以调整模型的参数 ，使其更符合 特定 任务的要求 ，提高输出的准确 性和稳 定性。 模型微调和本地知识库 使用海量数据进行预训练得到的基础 大模型 不 够精准。 解决方案： （ 1 ）模型微调；（ 2 ）本地知识 库 模型微调技术要点 （ 1 ）高质量的标注数据： 标注数 据 的质量直接影响微调的效果 ， 需 要确 保数据标注的准确性和一致性。 （ 2 ）合理的微调策略： 选择合适 的 微调算法和超参数 ，避免过拟合 或欠 拟合问题。 4.4 本地部署大模型方 案 在监督微调阶段 ，模型会学习一个 指令 - 响应（ Instruction-Response

据上进行训练， 以寻找特 征并发现 规律 ，进而形成可“举一 反三” 的强 大泛化能力 ，可在不 进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 模型 。 它们通常使用行业相关的 数 据进行预训练或微调， 以提高 在该 领域的性能和准确度，相当 于 AI 成 为“行业专家” 垂直大模型 L2 是指那些针对特定任务或场景的大 是指那些针对特定任务或场景的大 模型 。 它们通常使用任务相关的 数 据进行预训练或微调， 以提高 在该 任务上的性能和效果 1.4 大模型的分 类 按照应用领域的不同 ，大模型主要可以分为 L0 、 L1 、 L2 三个 层级 OpenAI 定义推理模型 在 OpenAI 的官网上 ， OpenAI 定义推理 模 型是在回答之前进行思考 ， 并在回复用 户 之前 ，在内部生成一长串的思维链过 闭环管理机制 定制化与灵活性 模型微调技术要点 （ 1 ） 高质量的标注数据： 标注数据 的质量直接影响微调的效果 ， 需要确 保数据标注的准确性和一致性 （ 2 ） 合理的微调策略： 选择合适的 微调算法和超参数 ，避免过拟合或欠 拟合问题 模型微调技术特点 （ 1 ） 领域针对性强： 经过微调的模 型在特定领域的表现会有显著提升