具备强大推理能力与长文本思考能力，继开源来备受关注。 DeepSeek R1-Zero 和 R1 的出现再次证明了强化学习的潜力所在： R1-Zero 从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（ SFT ）； 随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力； 随着推理路径增长，模型表现出自我修复和启发式搜索的能力； DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 Compute Optimallycan be More Effective than Scaling Model Parameters Laws [1] 。 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero model 需要大量的计算资源，可能会复杂化整个流程 训练模板： 选择最简单的 Thinking Process ， 直接观察到最直接的 RL 过程下的表现 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero

................................................................................... 11 3.2. 模式二：微调 .................................................................................................. 大模型的构建可以分为两个关键阶段，一个是预训练阶段，一个是微调阶段。预 训练主要基于大量无标注的数据进行训练，微调是指已经预训练好的模型基础上，使 用特定的数据集进行进一步的训练，以使模型适应特定任务或领域。针对工业大模型， 一是可以基于大量工业数据和通用数据打造预训练工业大模型，支持各类应用的开发。 二是可以在基础大模型上通过工业数据进行微调，适配特定工业任务。三是可以在不 改变模型参数的情 式的缺点是需要大量的 高质量工业数据集，以及庞大的算力资源，对成本和能力的要求较高，面临技术和资 源的巨大挑战。在最终应用前，无监督预训练工业大模型与 GPT3 类似，同样需要通过 适当的指令微调、奖励学习、强化学习等阶段，形成面向最终场景的应用能力。 SymphonyAI 3推出了基于无监督预训练的工业大语言模型，该模型的训练数据包 含 3 万亿个数据点，12 亿 token，能够支

意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention 自注意力机制：使序列中的每个单词都能 Richard Sutton （强化学习之父 ，阿尔 伯塔大学 教授， DeepMind 科学家） 折扣因子 监督微调 强化学习 图源自《 ReFT: Reasoning with Reinforced Fine-Tuning 》 DeepSeek-R1 ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的模型压缩技术 ，其 核心目标是在保持模型性能的同时 ，显著降低模型的计算复杂度和存储需求

预测模型（N-gram） • 优点：可解释、计算速 度快 • 缺点：从前向后单向计 算；单纯基于统计频次、 缺少对上下文的泛化； 随着n的增大，参数空 间呈指数增长 “预训练-微调” 学习范式 （BERT、GPT） 上下文学习、指令微调、 扩展规律 (GPT3、GPT4…) 基于Transformer架构的语言模型 • 优点： ✓ 长距离依赖处理能力强：自注意力机制能捕捉任 意距离的依赖关系。 浙江大学人工智能教 浙 DeepSeek-R1：监督微调+强化学习训练 DeepSeek-R1-Zero （强推理模型） 推理导向强化学习 （准确率奖励+格式奖励） 纯强化学习训练 低可控：生成文本可 读性差、语言混乱 高探索自由度 => 推理能力自我觉醒 （更长的思维链、更深层次的 推理路径） DeepSeek-V3 （基础模型） 监督微调 强化学习 图源自《ReFT: Reasoning 更强 在探索自 由度、学 习效率、 行为可控 性 找到动 态平衡 混合数据 监督微调 面向全场景的强化学习 （规则奖励+奖励模型） DeepSeek-R1 （强推理模型） 671B 第一阶段训练：增强推理能力，生成高质量推理数据 第二阶段训练：增强通用能力，避免灾难性遗忘 对V3模型 监督微调 推理导向强化学习 （准确率奖励+可读性奖励） R1-Zero生成的 长思维链数据

模型层开源创新推动上层商业化实践 降本增效推动大模型落地，选择微调、蒸馏或RAG等路径达到ROI最大化 来源：艾瑞咨询研究院自主研究绘制。 2024年，“后训练”和“强化学习”成为大模型技术创新的热点。后训练通常由大模型厂商在预训练模型基础上完成，其流程一般包括： 监督微调（SFT），即利用特定任务的标注数据对模型进行微调，使其学习任务模式；奖励模型（RM）训练，通过收集人类反馈数据训练 成本、高性能的开源模型（如DeepSeek、阿里QwQ系列）极大推动了大模型的商业化实践，吸引更多需求方拥抱大模型能力底座，并进 一步采用微调、蒸馏、RAG工程等方式完成定向优化和应用部署。 预训练大模型能力落地实践路径 数据处理 后训练/ 增量预训练 微调 模型部署 蒸馏 RAG 在预训练大模型基 础上有后训练或者 微调/精调的进一步 需求，则需要更多 数据（公开数据集、 企业内部数据等） 来进行模型调整。 数据集的结构、质 等都是以基模为基 础进行后训练得到。 数据预处理 增量预训练 后训练 监督微调SFT、强化 学习RL、RLHF、偏 好优化对齐等 注入领域知识，优 化特定任务或领域 基于预训练模型，通 过少量特定数据集对 模型进行进一步训练。 参数全 面微调 参数高 效微调 针对所有层 的所有参数 进行微调 针对部分 层的参数 进行微调 Adapter Tuning LoRA、QLoRA Prompt

模型层开源创新推动上层商业化实践 降本增效推动大模型落地，选择微调、蒸馏或RAG等路径达到ROI最大化 来源：艾瑞咨询研究院自主研究绘制。 2024年，“后训练”和“强化学习”成为大模型技术创新的热点。后训练通常由大模型厂商在预训练模型基础上完成，其流程一般包括： 监督微调（SFT），即利用特定任务的标注数据对模型进行微调，使其学习任务模式；奖励模型（RM）训练，通过收集人类反馈数据训练 成本、高性能的开源模型（如DeepSeek、阿里QwQ系列）极大推动了大模型的商业化实践，吸引更多需求方拥抱大模型能力底座，并进 一步采用微调、蒸馏、RAG工程等方式完成定向优化和应用部署。 预训练大模型能力落地实践路径 数据处理 后训练/ 增量预训练 微调 模型部署 蒸馏 RAG 在预训练大模型基 础上有后训练或者 微调/精调的进一步 需求，则需要更多 数据（公开数据集、 企业内部数据等） 来进行模型调整。 数据集的结构、质 等都是以基模为基 础进行后训练得到。 数据预处理 增量预训练 后训练 监督微调SFT、强化 学习RL、RLHF、偏 好优化对齐等 注入领域知识，优 化特定任务或领域 基于预训练模型，通 过少量特定数据集对 模型进行进一步训练。 参数全 面微调 参数高 效微调 针对所有层 的所有参数 进行微调 针对部分 层的参数 进行微调 Adapter Tuning LoRA、QLoRA Prompt

2 大规模预训练技术.......................................................................... 34 2.2.3 模型微调与优化.............................................................................. 35 2.2.4 模型部署与运维 需求进行调整和优化的过程。由于不同工业行业和任务具有独特的特点和要求， 如机械制造行业对产品精度和工艺要求严格，电力行业对设备运行稳定性高度 关注等，需要通过添加特定行业数据、引入领域知识以及采用合适的微调算法， 使模型更好地适应这些独特需求，提升在特定工业任务和行业中的性能表现。 1.1.3 工业数据制备 这是工业大模型构建的第一阶段。工业数据具有异质数据模态的特点，包 括 CAX 模型 守恒定律：能量、质量等物理量的守恒关系 ➢ 因果时序：设备退化过程的不可逆特性 ➢ 边界条件：工艺参数的安全阈值限制 ➢ 不确定性传播：测量误差的链式传导效应 1.2.2 模型架构 ◼ 混合架构 主流架构呈现"预训练+微调+物理嵌入"的混合模式： ➢ 基础层：基于 Transformer 的通用特征提取 ➢ 领域适配层：融入设备动力学方程、材料本构模型等机理知识 ➢ 任务特定层：面向检测、预测、优化等场景的轻量化模块

行自监督训练得到预训练模型 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 AI大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型 预训练语⾔模型“预训练 + 微调”技术范式 ⼤规模⽆标注 ⽂本数据 模型预训练 不同特定任务 有标注训练数据 模型微调 测试数据 最终模型 从海量数据中自动学习知识 Ø Big-data 在产业应⽤层⾯，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实 用、更易于产业落地的小型化大模型。 ��� 国产AI芯片自主研发 为确保中国大模型的长远发展和避免外部制裁风险，国内AI计算芯片的自主研发将成为关 键战略方向。 数据产权标准深化 优化和完善现有数据标准和规范，是 推动大模型“燃料”质量提升和数量增长的重要驱动 力，在2024年将作为产业发展的首要任务。 “套壳”微调策略 为满足产业实际需 为满足产业实际需求并适应中小企业的发展特点，“套壳”微调（即在现有大模型基础上 进⾏针对性调整）将成为除行业巨头外企业的主要发展策略。 人工智能伦理责任 随着大模型性能的飞速提升和实⽤性的增强，确保AI技术与社会伦理道德标准相⼀致将成 为⼤模型持续发展的关键考量因素。 来源：沙利文中国大模型测评报告 产业研究 战略规划 技术咨询 12 来源：面壁智能公众号 ���������� MMLU �������������

.......................................................................................59 3.2.1 模型微调与优化................................................................................................ 秒 Q3 业务处理准确率 82% ≥95% Q4 人力成本占比 35%营收 22%营收 FY2025 高净值客户覆盖 率 60% 85% Q2 技术实现路径上，将重点突破三个核心能力：通过微调 DeepSeek 模型构建超过 200 个金融专属意图识别的对话引擎，集 成 RAG 架构实现实时政策文档检索，并建立客户-产品匹配度动态 计算模型。该方案已在试点分行完成 POC 验证，理财推荐场景的 大模型的优势与应用潜力 DeepSeek AI 大模型作为国内领先的生成式人工智能技术，在 金融领域展现出显著的技术优势与应用潜力。其核心能力建立在千 亿级参数训练基础上，通过融合金融行业知识图谱与银行业务数据 微调，具备精准的语义理解、多轮对话管理和复杂业务逻辑推理能 力。在银行客户经理场景中，该模型展现出三大差异化优势： 首先，在服务效率维度，DeepSeek 可实现毫秒级响应速度， 单日可处理超过 50

保险行业智能化应用 代码生成 智能客服 内容生成 智能知识库 智能核保 智能理赔 智能风控 智能投研 大模型服务 提示词工程 预训练服务 微调服务 大模型评估 推理服务 大模型使能平台 零碳数据中心 云平台 傲飞算力平台 绿洲数据平台 n 大模型全栈能力， 开放化 工程化 • 分布式训练 • 大模型微调 • 大模型训练调优 • 可视化监控评估 • 基于质量管理 • 基于精度、类型 管理 • 全维度数据管理 • 多样化数据处理 • 云边端推理 • 云边端部署 • 数据安全审计 一站式工程化套件实现 AIGC 落地应 用 向导式 + 图形化降低 AIGC 门槛，开放性 + 工程化加速 AIGC 落地 大模型使能 部署推理 模型管理 模型训练 / 微调 算法开发 数据处理 13 旷视天元 Mega Engine … 海光 DTK 软件栈 … DCU 阿里龙蜥 CPU （海光、鲲鹏、飞腾） 国产化算力技术栈 场景 算法