2025年DeepSeek-R1Kimi 1.5及类强推理模型开发解读报告Prediction 中,通过 反复自我迭代和监督微调 ➢ 基于STaR 可以进一步将这种思路扩展到思考过程是搜索过程的特例,比如 rStar-Math, SoS 都可以用类似的思路来理解。 ➢ 本质上,STaR一类的方法是希望模型能够学习到MetaCoT, 即问题到答案映射 过程背后的深入规律 ➢ 但是对于问题的结构要求性高,对于复杂数学推理任务可能难以自我迭代 ➢ 难以融入 Rule-Based org/abs/2501.11284 40 技术对比讨论:蒸馏 vs 强化学习 Discussion ➢ Kimi K1.5 中 Long2Short 方法指的是将长文本 CoT 模型的知识迁移到短文本 CoT 模型,本质上是一种「蒸馏」, 不过目标和策略更多样,不仅要性能,还要 token 效率;更多地关注对教师模型推理策略的学习,而不仅是输出。 ➢ S1 模型通过少成本获得超过o1-preview的表现: ➢ Reasoning(过程性监督 + 细粒度反馈) ➢LLM 仍然受限于过程性推理任务: ➢ 尽管可以完成复杂的推理,但是仍然受限于一些对于人类来 说很简单的任务(例如,逆转诅咒),泛化能力较弱: ➢ 本质上在于 LLM 的思考范式仍然是静态,非过程性的; ➢ 一些看似复杂的任务,实则在互联网上有相近的解决办法, 在训练语料中有所蕴含(Hypothesis: Depends purely on10 积分 | 76 页 | 8.39 MB | 5 月前3
DeepSeek大模型赋能高校教学和科研2025备课助手: 大模型能快速生成教案框架、 习题库 , 并根据学生学情推荐分层教学内容 作业批改与反馈: 大模型可自动批改客观题并生 成 个性化评语 , 教师只需专注于主观题的深度反 馈 大模型本质上是基于海量数据的概率生成器 , 其核心价值在于辅助教师完成重复性、 标准化工作 , 让 教师有更多精力投入到创造性的教育环节 教学效率革命 创造性工作的短板 教学设计: 优秀的课程需要融合教学目标、 则错误的答案 缺乏教育直觉: 教师能凭借学生的微表情、 语气判断其理解程度 , 而 AI 主要依赖文 本交 互 ,难以捕捉这些情感信号 逻辑与直觉的缺失 尽管大模型能生成流畅的文本和答案 ,但其本质是数据驱动的模仿 ,缺乏真正的“思考”与“创造”能力 情感与社交能力的守护者 人机协同的情感互补: A I 无法替代师生互动中的 共情 与激励。学生受挫时 ,教师的鼓励远比 AI 的标 准化反10 积分 | 123 页 | 15.88 MB | 5 月前3
共 2 条
- 1
