系统关键数据变量在一段时间内的平 均值和标准偏差 X6 系统关键数据变量在正常运行时的平 均值和标准偏差 X7 系统可能存在的状态选项 X8 回答格式要求 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调 42/80 基于模板格式，自动填充相应内容，批量化生成用于大语言模型故障检测与诊断的提示词 from openai import OpenAI client=OpenAIO 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调 43/80 {"prompt": "", "completion": ""} 对原始模型进行能力测试，结合标注信息使其自纠正错误诊断内容，构建语料，微调大模型 生成微调模型 模型微调数据集 1. 测试原模型能力 2. 模型的自我纠正 检测诊断精度 诊断错误的对话 大模型自我纠正 3. 模型微调 故障检测与诊断能 力测试提示词库 原始大模型 Accuracy(% ) Normal Fault I … 生成 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调

具备强大推理能力与长文本思考能力，继开源来备受关注。 DeepSeek R1-Zero 和 R1 的出现再次证明了强化学习的潜力所在： R1-Zero 从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（ SFT ）； 随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力； 随着推理路径增长，模型表现出自我修复和启发式搜索的能力； DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 Compute Optimallycan be More Effective than Scaling Model Parameters Laws [1] 。 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero model 需要大量的计算资源，可能会复杂化整个流程 训练模板： 选择最简单的 Thinking Process ， 直接观察到最直接的 RL 过程下的表现 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero

意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention 自注意力机制：使序列中的每个单词都能 Richard Sutton （强化学习之父 ，阿尔 伯塔大学 教授， DeepMind 科学家） 折扣因子 监督微调 强化学习 图源自《 ReFT: Reasoning with Reinforced Fine-Tuning 》 DeepSeek-R1 ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的模型压缩技术 ，其 核心目标是在保持模型性能的同时 ，显著降低模型的计算复杂度和存储需求

进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 模型 。 它们通常使用行业相关的 数 据进行预训练或微调， 以提高 在该 领域的性能和准确度，相当 于 AI 成 为“行业专家” 垂直大模型 L2 是指那些针对特定任务或场景的大 模型 。 它们通常使用任务相关的 数 据进行预训练或微调， 以提高 数据隐私与安全性 避免使用限制 定制化与灵活性 模型微调技术特点 （ 1 ）领域针对性强： 经过微调的 模 型在特定领域的表现会有显著提 升 ， 能够更好地理解和处理该领域 的专业 问题； （ 2 ）模型适应性优化： 通过微调 可 以调整模型的参数 ，使其更符合 特定 任务的要求 ，提高输出的准确 性和稳 定性。 模型微调和本地知识库 使用海量数据进行预训练得到的基础 大模型 不 够精准。 解决方案： （ 1 ）模型微调；（ 2 ）本地知识 库 模型微调技术要点 （ 1 ）高质量的标注数据： 标注数 据 的质量直接影响微调的效果 ， 需 要确 保数据标注的准确性和一致性。 （ 2 ）合理的微调策略： 选择合适 的 微调算法和超参数 ，避免过拟合 或欠 拟合问题。 4.4 本地部署大模型方 案 在监督微调阶段 ，模型会学习一个 指令 - 响应（ Instruction-Response

据上进行训练， 以寻找特 征并发现 规律 ，进而形成可“举一 反三” 的强 大泛化能力 ，可在不 进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 模型 。 它们通常使用行业相关的 数 据进行预训练或微调， 以提高 在该 领域的性能和准确度，相当 于 AI 成 为“行业专家” 垂直大模型 L2 是指那些针对特定任务或场景的大 是指那些针对特定任务或场景的大 模型 。 它们通常使用任务相关的 数 据进行预训练或微调， 以提高 在该 任务上的性能和效果 1.4 大模型的分 类 按照应用领域的不同 ，大模型主要可以分为 L0 、 L1 、 L2 三个 层级 OpenAI 定义推理模型 在 OpenAI 的官网上 ， OpenAI 定义推理 模 型是在回答之前进行思考 ， 并在回复用 户 之前 ，在内部生成一长串的思维链过 闭环管理机制 定制化与灵活性 模型微调技术要点 （ 1 ） 高质量的标注数据： 标注数据 的质量直接影响微调的效果 ， 需要确 保数据标注的准确性和一致性 （ 2 ） 合理的微调策略： 选择合适的 微调算法和超参数 ，避免过拟合或欠 拟合问题 模型微调技术特点 （ 1 ） 领域针对性强： 经过微调的模 型在特定领域的表现会有显著提升

极致性能、稳定可靠的 AI 集群 • 深度开放的平台和生态 • 极致的端到端性能效率优化 关注便捷、易用、性价比的平台 • 开箱即用的强化学习套件 • 兼顾成本与性能的蒸馏 / 微调方 案 • 便捷的部署、敏捷业务上线 DeepSeek-V3-671B DeepSeek-R1-671B DeepSeek-R1-Distill-Qwen-32B DeepS +ISV/ 云，商业模式逐渐成熟 DeepSeek 能力提升成为各行业生产力工具，加速推理落地千行 百业 DeepSeek 催熟大模型落地技术， 降低推理部署门 槛 行业大模型 大量行业数据 监督微调 SFT 基础模型 Llama 、 Qwen 、 … 开箱即用的一体机，加速大模型应用落地 华为云 移动云 电信天翼云 联通云 京东云 基础模型 (DeepSeek/ Llama/Qwen/…) AWS 微软 Azure 部署更高效 月级调优 周 / 天级优 化 数据依赖降低 高质量数据 生成数据 算法依赖降低 高端人才 开源 + 蒸 馏 监督微调 SFT NVIDIA Hugging Face GitHub 更多行业 高质量数据生成 强化学习 主流云服务商已支持 DS 覆盖公 / 私有云部署 模型蒸馏 - 模型小型化

邀请码： z0sI0urY 邀请链接： https://cloud.siliconflow.cn/i/z0sI0urY 通过创建 API key 调 用 模型微调工程 u 对话模型微调 u 生图模型微调 华为云模型微调 老师模型 模型蒸馏工程 DeepSeek ： 推理模型 | 推理能力 蒸馏 DeepSeek 蒸馏模 型 学生模型 小模型：相当于一枚小学生 ，知识面非常有限 蒸馏、微调、 RAG 微调： 又叫精调 ，相当于学生意识到自己某门课有 短 板 ，然后自己找参考书恶补了一下 ，从而补上短 板 蒸馏： 是学生通过模仿老师的解题思路 ，达到和老 师 相似的知识水平。 RAG ： 直译过来叫做“检索增强生成 ” 。 相当于这题我不会， 但是我有“小抄 ” ， 我回 答的时候， 就看一眼小抄， 然后再综合我脑子里的已有知识， 进行回答。 蒸馏、微调、 RAG

问问同检”应用方案的选择 当前常见的大模型应用方案主要包括大模型直答、大模型微调和 RAG ( 检索增强生成 ) 。 大模型直答虽成本低，但幻觉现象严重，缺乏领域知识与实时信息，且可溯源性较差。微调方案通过 优化模型获取领域知识，减少部分幻觉问题，但仍无法动态更新数据，且训练成本较高。 大模型 应用方案 大模型直答 问题 LLM 回答 问题 大模型微调 LLM + 领域知识 回答 RAG( 检索增强生成 问题 + 检索知识 LLM 回答 大模型直答 大模型微调 RAG ( 检索增强生成 ) 外在幻觉 多 中 少 领域知识 无 有 有 实时信息 无 无 有 可溯源 无 无 有 成本 低 高 低 RAG 方案则通过检索外部知识库，将外部知识作 为 生成内容的基础，从而大幅降低幻觉现象的发生。与仅 依赖模型记忆的直答和微调方案不同， RAG 方案具备 动态接入外部知识库的能力，在应对领域性问题和实时 【核心机制】基于岗位需求与人力资源的 " 动态平衡法 则 "  临床资源精准匹配  医疗质量安全强化  人员发展需求适配 【系统价值】通过人工智能持续优化，实现三大核心目标： 构建排班决策智能数据中枢、自动排班、人工微调 【智能排班】 NEXT- 基于大语言模型的质量指标总结 质量指标总结 NEXT- 基于大语言模型的员工考核系统 未经专业训练的大语言模型 AI 技术在检验医学中落地的挑 战 通用大模型（如

政策法规 5405 219 82 107 47 公开报告 577 文献期刊 基础知识 48 26 规划文本 19 293 技术标准 33 10 2 总计 6472 219 218 504 16 微调测评 数据 文本问答对 546 30 97 182 Sal 问答对 285 46 总计 731 76 97 182 1.1 工作背景 —— 自然资源部“后土”大模型 后土大模型 以 空间对象为核心的“跨模态”大模型 …… 一 个 构 建 平 台 格局优化 绿色低碳 底线守护 N 个 智 能 体 应 用 行业业务微调 业务价值对齐 检索增强 算力基础 知识图谱 文本 规则模型 环境 图文对 视频图像 实体分类 空间 边 缘 计 算 高性能存储 专业 AI 芯片 Gpu 算力 …… 整治修复 国土资源部办公厅关于加强全国矿产资源潜力评价成果管… .2025/3/619:28 训练语料 样本库 多模态理解微调 特定任务标注 正反例百条 图文对 多模态理解模型微调 图像 / 视频 + 文本描述 ( 十万 级 ) 多模态 QA 结果排序 ( 万 级 ) 问答对 大语言模型微调 千条 ~ 万条 QA 对 形成宁波市自然资源行业知识库，为城市大模型建设提供权威行业语料 标 准 化

，在自然语言处理研究中具有重要的 作 用 ，是自然语言处理的基础任务之一。包括： n 元语言模型、 神经语言模型、 预训 练语言模型。 随着基于 Transformer 的各类语言模型的发展及预训练微调范式在自然语言处理 各 Transformer 结构是由谷歌在 2017 年提出并 首 先应用于机器翻译 Transformer 结构完全通过注意力机制完成对源 语 言序列和目标语言序列全局依赖的建模 Softmax Linear Add & Norm 输出概率 输入 N × ×N 预训练阶段 1000+GPU 月级别训练时间 GPT 3.0 、 DeepSeek 、 ,qwen 指令微调 1-100GPU 天级别训练时间 MOSS 、 ChatGLM6b 、 Vicuna-13B 等 奖励函数 1-100GPU 天级别训练时间 强化学习 1-100GPU 天级别训练时间 Norm Add & Norm Add & Norm Softmax Linear Add & Norm 输出概率 输入 N × ×N 有监督微调（ Supervised Finetuning ） ，也称为指令微调 ，利用少量高质量数 据 集合 ，包含用户输入的提示词和对应的理想输出结果。用户输入包括问题、 闲聊 对 话、任务指令等多种形式和任务。 例如：提示词（ Prompt