的问题：长推理过程可读性差、语言混合，帮助性低 ➢ Research Questions: ➢ 能否在Zero基础上兼顾推理性能的同时，提升模型的帮助性和安全性？例如产生 Clear & Coherent CoT 并且展现出通用能力的模型 R1； ➢ 能否利用一些高质量反思数据集做 Cold Start 从而加速RL的收敛或帮助提升推理表现 16 DeepSeek-R1 技术 Pipeline 总览 DeepSeek-v3-Base 推理数据 (Rule-based+Generative 奖励) 200k 通用数据 （Writing \ Role-Play etc.） Stage II: 通用能力&安全性 DeepSeek-R1 全领域RL All-Scenarios RL 推理任务 – 规则奖励 (Rule-based Reward) 通用任务 – 偏好建模 (Reward Model) 17 DeepSeek-R1 当上一个阶段的RL收敛之后，再进行SFT ➢ 和之前Cold-Start 的数据不同，这部分SFT主要是负责全领域 任务 ➢ 600k 推理任务：(1) 基于规则的奖励 (2) 利用批判模型融 合生成式奖励 ➢ 200k 通用任务 (writing \ role-playing \ general-purpose) ➢ 成效：使模型在推理能力不减的前提下，语言表现更为自然， 适应性更为广泛。 ➢ 全领域RL RL for

、姿态估计 、人脸识别等 。代表性产品 包括 VIT 系列 （ Google ） 、文心 UFO 、华为盘古 CV 、 INTERN （商汤）等 3.4 大模型的分 类 通用大模型 L0 是指可以在多个领域和任务上通用 的大模型 。 它们利用大算力、使 用 海量的开放数据与具有巨量参 数的 深度学习算法，在大规模无 标注数 据上进行训练， 以寻找特 征并发现 规律 ，进而形成可“举一 ，探索了很多不同的路径之后 给出答 案 ，那么有这个能力的大模型就 是推理大 模型。推理模型的核心在于处 理那些需要 多步骤逻辑推导才能解决的 复杂问题。 3.4 大模型的分 类 大语言模型可以分为通用大模型和推理大模型 3.4 大模型的分 类 n 推理大模型 DeepSeek R1 的对话效果 非推理问题 ： ” 法国的首都是哪里 ？ ” （答案直接 、 无需推导 ） 推理问题： ” 博士（ Lightning AI 的首席教育学家） 将“推理”定义为通过生成中间步骤来回答复杂问 题的过程 通用的大语言模型（ LLM ） 可能直接输出简短答案（如” 180 英里”） 推理模型的特点在于显式展示中间推导过程 3.4 大模型的分 类 特性 推理大模型 通用大模型 适用场景 复杂推理、 解谜、 数学、 编码难题 文本生成、 翻译、 摘要、 基础知识问答 复杂问题解决能力

编委：方辛月、高 畅、高杨帆、胡 杨、刘 波、吕晓峰、邱丽颖、单 娜、张 恒、张心宇 * 编辑按姓名首字母排序 人工智能 (AI) 技术的快速发展掀起了新一轮工业革命浪潮，通用大模型的出现让 AI 技术从专用化迈向 了通用化。AI 技术正在步入工业领域的千行百业，帮助企业实现从传统的劳动密集型、资源密集型企 业，向技术密集型、知识密集型的高端化、智能化、绿色化方向转型升级，打造依托于人工智能、大 能够有效处理多种从未见过的数据或新任务，甚至能处理一些与训练数据截然不同的任务。这使得大模型能应用于多种任 务和场景，具有广泛的适用性。 4. 灵活性和可定制性。大模型通常具有灵活的架构和可定制的参数，可以根据特定需求对通用大模型进行定制和优化。通过 微调 (Fine-tuning) 技术，预训练的大模型可以快速适应新的任务和数据集，而无需从头开始训练。此外，还可以通过添 加新的层或修改现有层的结构，来扩展大模型的功能和性能。 oneAPI 统一，为一个共通的、开放的、基于标准的编程模型，释放生产力和 性能。开发者可以使用英特尔® oneAPI 基础工具包和英特尔® oneAPI 高性能计算工具包，更容易地构建、分析、优化和扩 展通用计算、高性能计算和 AI 应用程序，跨越多种类型的架构，并使用包括在向量化、多线程、多节点并行化和内存优化 方面的最先进技术。使用英特尔® 至强® Max 系列处理器和英特尔® oneAPI，开发者可以轻松构建高性能、多架构软件，为

框架： PY 、 TF 异构计算架构： CUDA 互联技术： NV Link AI 芯片： NV 、 AMD • DS 对强化学习的创新使用， 可以让大模型便捷的获 得 通用性 + 专用性， 可以满足各应用场景需求 • DS 对通过从模型结构到训推全流程的极致工程优化， 大幅提升 AI 的计算效率， 提升模型落地经济性 • 中国 AI 公司首次以关键创新贡献者的身份加入到全 起 Kernel Launch GE 图引擎 MT 、 KS 自定义图融合 Pattern 类库 / 模板 XF 自定义切分策略 集合通信库 TX 、 MT hash 算法自定义调优 通用编程 KS 自定义算子开发 毕昇编译器 | Runtime 运行时 开放硬件资源接口，满足开发者对模型开发、系统优化、三方生态对接等各场景需求 算子加速库 开放 1600+ 基础算子接口、

核心技术 DeepSeekMoE: 显者减少计算量 ( 穷则战术穿插 ) ■ 针对美国的算力禁令 ■ 核心思想： 1 共享专家 +256 路由专家，激活 8 个路由专家 ■ 共享专家： 捕获通用知识、降低知识冗余 ■ 路由专家： 量大、细粒度、灵活组合、方便知识表达 ■ 结果：每个 Token 只要过 360 亿参数 (Llama 3.1 要 4050 亿参数 ) DeepSeek.