Rewards: 规劝模型生成答案的过程是 和 ➢ 没有使用Reward Model, 因为ORM和PRM等基于神经网络的都可能遭受reward hacking 而retraining reward model 需要大量的计算资源，可能会复杂化整个流程 ➢ 训练模板：选择最简单的 Thinking Process，直接观察到最直接的RL过程下的表现 基于规则的奖励 ➢ 执行Python代码检查运行情况判断是否为可运行代码； ➢ 调用外部模块构建额外的检测单元； ➢ 甚至可以更进一步，测量执行时间，使训练过程首选性能更高的解决方案； ➢ 以上均可以作为小批量训练 (Mini-Batch) 和连续训练过程中的奖励信号 14 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero的关键启示：举例 - 自动化标记和验证 languagemodels.co/p/the-illustrated-deepseek-r1 15 DeepSeek-R1 技术 Pipeline 总览 ➢ DeepSeek-R1 Zero 的问题：长推理过程可读性差、语言混合，帮助性低 ➢ Research Questions: ➢ 能否在Zero基础上兼顾推理性能的同时，提升模型的帮助性和安全性？例如产生 Clear & Coherent CoT

行业观察 01 02 01 工业人工智能 (AI) 行业观察 工业 AI，是 AI 技术在工业领域的应用，它通过机器学习、深度学习、计算机视觉等先进的计算智能方法，实现对工业生产 过程的优化和智能化，最终帮助企业提高生产效率、降低成本、提升产品质量，实现数字化转型。 2023 年 12 月，由信通院牵头、多家单位联合编制的《工业大模型技术应用与发展报告》指出，AI 与大模型将加速赋能新型 能、潜在故障等，预测产品性能表现，进一步指导 设计改进。 1.2 工业 AI 的应用范畴 04 01 工业人工智能 (AI) 行业观察 生产过程管控 在生产过程管控方面，AI 技术的应用主要集中在提高生 产效率、优化资源配置、增强质量控制和实现生产过程 的自动化与智能化。具体包括： • 设备管理： 在设备入库管理方面，AI 通过深度学习识别设备上的 条形码、二维码或设备特征，自动读取设备信息如型 在生产资源分配方面，通过深度学习和大数据分析， AI 系统能够根据实时数据预测生产任务，自动调整 生产参数，并合理地分配人力、设备、物料等生产资 源，提高资源利用率，确保生产线始终保持在最佳工 作状态，提高生产效率。 在生产过程监控和优化方面，AI 算法通过分析生产 线上的各种运行状态反馈数据和工艺参数，能够预 测及发现潜在问题，并自动调整参数，优化产线运 行状态。 • 生产安全管理：通过智能视频分析技术分析从生产现

支持任何常用终端设备无缝 连接到各种教育信息系统， 无缝获取学习资源与服务 联接社群 学习者的多个学习终 端之间实现数据同步、 无缝切换，学习过程 实现无缝迁移 具体 体现 16 全向交 互 • 自然交互 • 深度互动 • 过程记录 17 智能管 控 教育环境、资源、管理与服务的智能管理是智慧教 育的核心特征。 智能控制 智能诊断 智能分析 智能调节 处理和信息服务的需求。 27 云计算 创 新 • 学生通过电子书包 等终端随时随地享 受云端的各种学习 服务 云学习环境 • 保证学习数据的永 不丢失，为学习分 析提供数据支持 存储学习过程 数据 28 泛在网 络 泛在网络是通信网、互联 网、物联网的高度协同和 融合，将实现跨网络、跨 行业、跨应用、异构多技 术的融合和协同。 29 泛在网 络 创 新 学习、生活与工作的连通 深度交互 32 常规 ( 课堂 ) 智慧教学过程 智慧学习 智慧学习是在智慧环境中开展的完全以学习者为中心的学习活动。 基本特征 培养技能 认知 创造 内省 交际 个性化 高效率 沉浸性 持续性 自然性 基本特征 获取自己所需的资源、信息和 服务 享受个性化定制的资源和服务 发掘自己的兴趣爱好 挖掘自己的潜能 学习过程更加轻松高效 学习者 34 智 慧 慧 学

之前 ，在内部生成一长串的思维链过程。 思维链是一种提示大语言模型进行逐步推 理的方法。它让模型在得出最终答案之前 ， 先显式地写出推理的中间步骤。这就像人 类解决复杂问题时会先把思考过程写下来 一样。 推理模型的核心 也就是说 ，如果模型在回复你之前有一 长 串的思考过程（这个过程必须可以显 示输 出） ，探索了很多不同的路径之后 Sebastian Raschka 博士（ Lightning AI 的首席教育学家） 将“推理”定义为通过生成中间步骤来回答复杂问 题的过程 通用的大语言模型（ LLM ） 可能直接输出简短答案（如” 180 英里”） 推理模型的特点在于显式展示中间推导过程 3.4 大模型的分 类 特性 推理大模型 通用大模型 适用场景 复杂推理、 解谜、 数学、 编码难题 文本生成、 翻译、 摘要、 意图识别等发散性较强且较为创意多样的任务 ，请选择通用大模 型 3.4 大模型的分 类 大模型是基于 Transformer 架构的 ，这种架构是一种专门用于自然语言处理的“编码 - 解码器”架构。 在训练过程中 ，大模 型将输入的单词以向量的形式传递给神经网络 ，然后通过网络的编码解码以及自注意力机制 ，建立起每个单词之间联系的 权 重。大模型的核心能力在于将输入的每句话中的每个单词与已经编码在模型中的单词进行相关性的计算

istriLb ti可 o n 以 将 K V C a c h e 降 低 为 = 1 . 7 % 只需存储图中的 c v, K 即可； 考虑到矩阵乘法结合律，具体实现过程中 W UK可以与 WUQ 融合、 WUV可 以与 Wo融合，从而无需为每个 query 计算 key-value 值。 t R t K 相比于 MHA ， MLA 每 token 模块仅在训练中使用，提升模型训练效果，推理阶段可以不使用 MTP 模块，基础模型能够独立完成正常推 理 • 参考投机采样， MTP 模块也可以被重新配置用于 speculative decoding ，加速解码过程，降低整体时延 7 Huawei Proprietary - Restricted Distribution 关键 发现 ① 细粒度的计算通信并行 • 将 PP stage Triton+TMS/vLLM MindIE-Service MindIE-Server MindIE-LLM 对标 TensorRT-LLM • 支持社区模型快速迁移 • 自回归解码、扩散过程优化 • 稀疏量化压缩、 并行推理 对标 TensorRT • 图优化，算子融合， Kernel 优 化 • 量化、混合精度加速 • 异步下发，多流水执行 第三方推理服务 3rd 支持

大模型：像一位见多识广、知识储备庞大的“大教 授” ，无所不知 ，但是“供养”他很贵。 什么是模型蒸馏？ “ 模型蒸馏”就是把大模型学到的本领， 用“浓缩”的方式教给小模型的过程， 在保证一定精度 的 同时， 大幅降低运算成本和硬件要求。 模型蒸馏 • 蒸馏是一种机器学习技术 ， 其中较小的模型（ “学生模型” ）被训练来模仿 较大、 预训练模型（ “教师模型” ） 生 模型。 • 2. Logits 蒸馏 在 logits 蒸馏中 ，学生模型被训练来匹配教师模型的 logits ，而不仅仅是 最 终的预测。这种方法保留了更多关于教师模型置信水平和决策过程的信息。 • 3. 特征蒸馏 特征蒸馏涉及将教师模型中间层的知识转移到学生模型中。通过对齐两个模 型的隐藏表示 ，学生模型可以学习到更丰富和更抽象的特征。 蒸馏、微调、 RAG

桩市场的三大风险点，用 SWOT 框架呈现” ⚫ 创意写作：“用鲁迅杂文风格，写一篇讽刺 AI 过度依赖现象的短文，结尾需反转升 华” ③思维链可视化 指令设计：要求展示推理过程（如“先分解条件再推导”） 应用场景： ⚫ -解数学题时自动展示公式推导步骤 ⚫ -分析商业案例时生成因果逻辑图 2.行业专用模板：拿来即用的生产力工具 3