2025年DeepSeek-R1Kimi 1.5及类强推理模型开发解读报告Reasoning With Reasoning Takeaways: ➢ STaR 的核心思路是将思考过程建模到语言模型的Next Token Prediction 中,通过 反复自我迭代和监督微调 ➢ 基于STaR 可以进一步将这种思路扩展到思考过程是搜索过程的特例,比如 rStar-Math, SoS 都可以用类似的思路来理解。 ➢ 本质上,STaR一类的方法是希望模型能够学习到MetaCoT, 即问题到答案映射 不同模态下,模态特有与模态共有的信息如何统一在奖励信号建模中? 46 技术对比讨论:从文本模态到多模态 ➢ 扩展多模态强推理的可能路径: ➢ 基于多模态模型做基座模型扩展到强推理场景, ➢ 另一种是利用LLaVA的思路,在原来的强推理基座模型上进行额外的模块扩展; ➢ 冻结除投影层Projector外所有模型参数,对投影层Projector进行预训练,使得投 影层Projector能够将经过视觉编码器的视觉表征映射到语言表征空间。 过程中,模型可以通过一次 预测多个Token来减少计算量, 从而提高推理速度。 [1] DeepSeek-V3 技术报告 https://arxiv.org/pdf/2412.19437v1 FP8 混合精度的整体训练思路 细粒度量化策略 71 拓展分析: DeepSeek-V3 ➢ 通信优化:DulePipe 算法: 精细化编排计算和通信 ➢ 控制前向和反向过程中 计算和通信的GPU SM 数量,保证计算和通信10 积分 | 76 页 | 8.39 MB | 6 月前3
DeepSeek大模型赋能高校教学和科研2025人工智能的诞 生 在这次会议上 , “人工智能”这个词汇被约翰 . 麦卡锡( John McCarthy ) 首次提出。 与会者们不仅对人工智能的研究和应 用 前景进行了深入探讨 ,还提出了许多重要的观点和思路 ,为人工智能的发展奠定了基础。 这次会议的召开标志着人工智能作 为一个独立学科的正式诞生 , 因此 ,达特茅斯会议被称为“人工智能的开端” , 1956 年也被称为“人工智能元年”。这次会 辅助写作、 智能纠错 和摘要生成、多种语言实时互译 文本分析 可快速提炼论文创新点、方法及实验结果 数学推理 能够解答高等数学、 概率统计、 线性代数 等复杂问题 ,提供解题思路与引导式问题 编程助手 支持 10 余种编程语言的代码创作与问题诊 断 2025 年 2 月 19 日 ,郑州大学国家超级计算中心、 计算机与人工智能学院、 信息化办公室携手攻坚 ,成功在超算中心设备上部 在查阅 大量文 献、总结研究结果、检测写作错误等任务中优于人类 , 72% 的 人希望在未来两年内使用 AI 辅助其撰写论文 DeepSeek 充当科研强力助手:科研思路探索、论文撰写与润色、 信息检索、国家自然科学基金及社会科学基金申请书撰写、助力 顶级期刊发表、提高办公效率、激发创意灵感、写作翻译、图片 生成、科研绘图、代码自动生成、成果发表、课题申报、邮件10 积分 | 123 页 | 15.88 MB | 6 月前3
山东大学:DeepSeek 应用与部署,学生模型可以学习到更丰富和更抽象的特征。 蒸馏、微调、 RAG 微调: 又叫精调 ,相当于学生意识到自己某门课有 短 板 ,然后自己找参考书恶补了一下 ,从而补上短 板 蒸馏: 是学生通过模仿老师的解题思路 ,达到和老 师 相似的知识水平。 RAG : 直译过来叫做“检索增强生成 ” 。 相当于这题我不会, 但是我有“小抄 ” , 我回 答的时候, 就看一眼小抄, 然后再综合我脑子里的已有知识, 进行回答。10 积分 | 79 页 | 6.52 MB | 5 月前3
AI跃迁派:2025年DeepSeek零基础完全指南论文润色:上传论文草稿→输入“优化学术表达,确保符合 APA 格式”→10 分钟完 成专业级修改 ⚫ 知识点图谱:输入“用思维导图整理高中生物遗传学核心概念”→生成可打印的学习 框架 ⚫ 解题思路:拍摄数学题照片→R1 模式自动分步解析,错误点用红框标注 ②职场人:效率提升 300%的办公神器 ③创业者:零成本搭建专业团队 ⚫ 商业计划书:输入“智能家居赛道 BP10 积分 | 21 页 | 1.01 MB | 6 月前3
共 4 条
- 1
