智能金融:AI驱动的金融变革(45页 PPT)(强推理模型) DeepSeek-V3 (基础模型) 面向全场景的强化学习 (规则奖励 + 奖励模型) 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型(教师模型)的知识迁移到小型高效模型(学生模型)的模型压缩技术 算法共振与羊群效应 OpenAI :推理增强会明显减少幻觉! DeepSeek R1 实测:推理增强后幻觉率增加! 过度延展的推理机制 训练数据的奖励偏差 解决方案? 面临挑战 3 :创造力与幻觉率悖论? 根据 Vectara 的测试, R1 的幻觉率 14.3% ,显著高于其前身 V3 的 3.9%20 积分 | 45 页 | 4.10 MB | 2 天前3
央国企数字化应用实践报告接应用于业务场景。然而,DeepSeek 开源的 DeepSeek R1 模型为这一困境带来了突破性解决方 案。通过开源,DeepSeek R1 使央国企的大模型能够理解业务逻辑,从而为“深水区”场景的落地 提供了可能。 目前,央国企可通过以下三种方式实现这一目标: l 模型蒸馏与能力迁移:央国企可通过蒸馏 DeepSeek R1 获取推理能力,并将其“复制”到自 有模型上,快速提升模型的业务适配性。 DeepSeek R1 则代表了推理模型。这类模型以慢速、深思熟 虑、逻辑性的方式运行,通过强化学习训练,在回答问题之前会通过思维链进行“思考”,思考时 间越长,在推理任务上的表现就越好。这种思维方式需要有意识的努力和思考,用于解决复杂问题 或做出深思熟虑的决策。 非推理模型和推理模型各有所长,未来企业需要同时部署这两类模型,这超出了此前的预期。在 DeepSeek R1 出现之前,企业 工具来解决工作问题,以提升效率和质量。用户数量的激 增将导致对算力的需求大幅超过企业原有的规划。 | 2024 爱分析 央国企数字化应用实践报告 26 (3)训练与蒸馏 如果央国企希望对 DeepSeek R1 进行蒸馏,将其推理能力复制到自身的大模型上,或者参照 DeepSeek 公开的技术路径,从头构建思维链数据并通过微调、强化学习等方式改造自有模型,这 些操作都将显著增加对算力的需求。 根据10 积分 | 73 页 | 7.01 MB | 5 月前3
共 2 条
- 1
