产生分步验证的高质量推理数据，四轮自我迭代提升，不断更新数据而后微调模型 ➢ 虽然即便经过MCTS模拟后，Q值依然无法做到对每个推理步骤进行精准评分，但是它们能够有效识别出哪 些步骤是正确的（正向步骤），哪些步骤是无关或错误的（负向步骤）,可以用 ranking loss 训练偏序 [1] rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved 模态甚至全模态场景下时，许多问题会随之呈现： ➢ 随着模态数量增加，传统二元偏好或规则奖励是否能够捕捉人类意图的多元偏好或层次化偏好？ ➢ 当多模态扩展到全模态空间，模态交互更加复杂，RL方法需要做哪些改进？ ➢ 不同模态下，模态特有与模态共有的信息如何统一在奖励信号建模中？ 46 技术对比讨论：从文本模态到多模态 ➢ 扩展多模态强推理的可能路径: ➢ 基于多模态模型做基座模型扩展到强推理场景，

模型，支撑模型快速上 线 关键特性 W8A8 量化 | 服务化部署 | EP 并行 AI 软件栈多且复杂， 客户不清楚模型组 件安装依赖顺序， 模型分析工具链有 哪些，模型是否支 容器化部署 镜像封装，提供容器命令 物理 机部署 基于场景，提供开发环境部署方法 推荐昇腾最佳实践，快速复现 DeepSeek 系列模型推理流程，加速客户应用上线。 De