2025年DeepSeek-R1Kimi 1.5及类强推理模型开发解读报告着训练步数的增长,模型的thinking response length 逐 渐增加(对应着 test-time computation increasing) ➢ Aha moment: 自然学会增加更多的推理时间,反思评价先前步骤、探索其他方法 RL驱动下自然涌现 Long-CoT 能力 “Aha”Moment 11 DeepSeek-R1 技术剖析:DeepSeek-R1 Zero 训练步数的增长,模型的thinking response length 逐渐增加 (test-time computation increasing) ➢ DeepSeek-R1-Zero 自主涌现学会重新评测原来的方法、反思和主动探索其他的路径 ➢ 多阶段训练下的冷启动让RL训练更加稳定,避免初期不稳定、加速收敛、提升思维链可读性 ➢ 未来后训练的重心会逐步倾向于RL,但是少量训练用于SFT可能还是必须的 A* 也是 Structure, 人为加入 Inductive Bias 强求LLM按照人为的结构化先验进行思 考可能会限制模型的能力; ➢ 不通过额外的Structure, 模型自身是否可以学会思考: ➢ Algorithm Distillation: 将RL的 Training History 序列直接 建模到语言模型中,学习到Data-Efficient RL 算法 ➢ Stream10 积分 | 76 页 | 8.39 MB | 6 月前3
DeepSeek大模型赋能高校教学和科研2025变得可视化 本地化适配: 大模型能针对不同地区、 教材版本 动态调整教学内容 ,确保与教学大纲精准匹配 教师视角: 工具能节省时间 ,但不能让人完全省 心。 教师需要学会与 AI 协作 , 比如通过优化提 示 词 ,让大模型生成更贴合教学场景的内容 备注: 本部分内容来自对网络资料的整理 8. A I 赋能高校教学 大模型是工具——教育的“智能脚手架”10 积分 | 123 页 | 15.88 MB | 6 月前3
共 2 条
- 1
