671B ）为基础模型， 使 用 GRPO 算法作为 RL 框架来提升 Reasoning 性能 Huawei Proprietary - Restricted Distribution 5 张量低秩压缩以降低 KV Cache 资源开销：相比于传统 MHA ， MLA 通过降 维 操作使得存储的张量维度大幅减小。（下图中仅红色阴影部分需要存 储） (bs, ℎ) (bs, ℎ) 2bsℎ Key-Value pair 进行低秩压缩； 2 ）使 用 RoPE 获得位置信息； 3 ）使用 MHA 计算得到输出。 对 6DeepSH wkevi r而 opr言 iet ryn- s ri t d， DM istriLb ti可 o n 以 将 K V C a c h e 降 低 为 = 1 . 7 需要裁判模型评估 1 次 1token 预测 MHA/GQA 分组共享减少缓存 GPT4 16 专家选 2 FP8 混合精度 双向流水并行 新老策略组队评估 1 次多 Token 预 测 MLA 低秩压缩减少缓存 DeepSeekMoE 更稀疏 256 选 8+1 训练精度 PP 并行算法 强化学习 Attention MOE Token 预测 业界 LLM 大模 型 核心 收益效果

(GPT-3:175B 、 GPT-4:1.76T?) ■ 每个 token 激 活 3 7B 参数 (~5.5%), 降低计算 量 MoE: 1 共享专家 + 256 路由专家 MLA: 低秩压缩 DeepSeek v3 模型参 数 L=61 层 oo oouatence9 Input Hiden heOOOO ka 派 {vb k 回 apply RoPE 2024 核心技术 DeepSeekMoE: 显著减少计算 量 DeepSeek 为代表的国内大模型咬住国外最先进大模型 ■ 模型性能：不要指望全面优势， “城头变幻大王旗” ■ 成本：低 ( 战术穿插 ) ■ 算力受限，近几年咬住会更难 ( 大家宽容些 ) ■ 突破工艺卡脖子，实现“战术穿插” +“ 火力覆盖” ■ 中芯国际等硬核大厂突破工艺卡脖子 ■ 华为等算力公司提供高算力密度

DeepSeek ： 推理模型 | 推理能力 蒸馏 DeepSeek 蒸馏模 型 学生模型 小模型：相当于一枚小学生 ，知识面非常有限 ，但是胜在 没 教授那么大谱 ，给个板凳坐着就够了（部署成本低 ，推 理成 本低）。 老师模型和学生模型 大模型：像一位见多识广、知识储备庞大的“大教 授” ，无所不知 ，但是“供养”他很贵。 什么是模型蒸馏？ “ 模型蒸馏”就是把大模型学到的本领，

质量检测 加速产品 的更新 换代 智能化 功能增强 消费电子产品对品质要求极高，过检指标和漏检指标严格，且产线速度快。很多产品缺陷种类复杂、缺陷细小、区 分度低，传统的人工检测和机器视觉方案，检出率低，速度慢，无法满足生产质量和高速产线的节拍要求。AI 技术 与机器视觉检测方案相结合，为这类难检缺陷提供有效解决方案。 以手机玻璃盖板为例，手机玻璃盖板在生产过程中可能会出现划 多种。必须精准、高效地检出这些缺陷以保证产品质量，检测精 度一般要求达到 10μm，检测节拍根据盖板尺寸大小通常在 6 秒到 1 秒/件之间，甚至更快。 传统的人眼检测，不但无法达到微小缺陷的检测精度要求，而且人眼容易疲劳，存在效率低、误检漏检偏高等问题， 无法满足生产的精度和节拍要求。将深度学习算法与高精度成像系统相结合，更快速地识别出产品图像中的缺陷及 种类，满足生产线对检测精度和速度的要求。 锂电池的质量直接关乎电动车 Neural Accelerator（英特尔® GNA）3.5 可用于改善音频 降噪和语音识别。 提升图形密集型应用性能，无需入门级独立 GPU 为自助服务终端、终端以及细节丰富的界面整合系统并降 低硬件成本。英特尔® 酷睿™ Ultra 处理器配备内置英特尔 锐炫™ GPU 3，提供多达 8 个 X e 内核（多达 128 个图形执 行单元），有助于减少对入门级独立 GPU 的需求。这一代

co/p/the-illustrated-deepseek-r1 15 DeepSeek-R1 技术 Pipeline 总览 ➢ DeepSeek-R1 Zero 的问题：长推理过程可读性差、语言混合，帮助性低 ➢ Research Questions: ➢ 能否在Zero基础上兼顾推理性能的同时，提升模型的帮助性和安全性？例如产生 Clear & Coherent CoT 并且展现出通用能力的模型 入，持续重塑行业竞争格局。 ➢ 资源优化：随着模型使用方案的平民化，中小企业和个人开发者得以将有限资源聚焦于 场景创新与技术优化，无需在基础能力建设或算力消耗上投入过多成本。 ➢ 市场激活：这种高性价比、低门槛的大模型服务模式，将吸引更多初创团队涌入赛道， 催生多元化的应用场景和技术路径，推动行业生态的繁荣发展。 ➢高效创新：在有限算力资源支持下，算法创新模式，突破了算力的“卡脖子”限制 28 技术对比讨论：Kimi 不同模态下，模态特有与模态共有的信息如何统一在偏好建模中？ 出发点：我们如何在全模态场景中，实现any-to-any models与人类意图对齐 51 ➢ 针对RLHF/DPO对齐方案存在的效率低、迭代慢、优化难的难题，提出从语言反馈中学习 （Learning from Language Feedback），解决任意到任意模态对齐微调。 Question: What medium is

 指在传统教室基础上，改进优化教室的物理环境，增添适量数字 化设备，初步实现传统教室的数字化、多功能化的一种未来教室 类型。  优势  环境简易变革，实现教学理念及方式大幅改进  低投入，高产出  使用简单，师生能够快速适应新环境  小步子逐步实施，保证教育生态平衡发展 互动型未来教室  构建基于一对一的教学环境，学习者能够有序开展小组合作 学习、项目学习等多样互动的学习方式。教师可基于教学环