核心观点 DeepSeek 开源、低成本、强推 理 助推银行业应用 1 n DeepSeek 模型在 Post-Train 阶段大规模应用了强化学习方法。 R1 使用了冷启动 + 大规模强化学习方法， R1-Zero 版 本模 型使用纯强化学习方法。随训练过程推进，模型展现出了推理能力的扩展（高准确率和 long-CoT 能力涌现等） 。 图表：随步数提升 R1-Zero 的 AIME 任务准确度 任务准确度 图表：深度思考能力提升 性能：后训练阶段大规模应用强化学习，表现推理能力扩展 资料来源： DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning ，中泰证券研究所 资料来源： DeepSeek-R1: 理中的成本更具优势。 它在 MoE 架构的基础上， 通过多头潜注意力机制（ Multi-Head Latent Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模 跨节点专家并行（ Expert Parallelism

DeepSeek 智能体开发通用方案旨在构建一套高效、灵活且可 扩展的智能化解决方案，以满足企业在复杂业务场景中对智能决 策、自动化处理和数据分析的需求。该方案基于先进的人工智能技 术，结合深度学习、强化学习以及自然语言处理等核心技术，能够 实现对多样化数据的实时处理与智能化分析，从而提升企业的运营 效率与决策质量。 项目的核心目标是通过模块化设计和可配置策略，为企业提供 定制化的智能体开发服务。智能体将具备自主学习能力，能够根据 为实现上述目标，项目将分为三个阶段推进： - 第一阶段：完成智能体基础框架的搭建，包括数据采集、预处理 模块以及核心算法的初步实现，确保智能体具备基本的多模态数据 处理能力。 - 第二阶段：优化智能体的决策引擎，引入强化学习与迁移学习技 术，提升其在复杂场景中的适应性，并通过模拟测试验证其性能。 - 第三阶段：完成智能体的资源调度与部署优化，确保其在实际生 产环境中能够高效运行，并通过用户反馈持续迭代优化。 此外，项目还将重点关注以下性能指标： 块还需实现数据质量管理，包括异常检测、数据补全和去重等。 智能决策模块是 DeepSeek 智能体的核心，主要利用机器学 习、深度学习等技术进行模式识别和预测分析。开发时需要根据业 务需求选择合适的算法模型，结合强化学习、迁移学习等前沿技 术，实现动态优化。模型训练和推理过程应支持分布式计算，以提 高处理效率。响应执行模块则负责将智能决策结果转化为实际操 作，如自动化控制、通知发送等。此模块需具备高可靠性和实时

展方向进行讨论与总结. 关键词 大语言模型, 大型视觉模型, 基础模型, 具身智能, 机器人 引用格式 王文晟, 谭宁, 黄凯, 张雨浓, 郑伟诗, 孙富春. 基于大模型的具身智能系统综述. 自动化学报, 2025, 51(1): 1−19 DOI 10.16383/j.aas.c240542 CSTR 32138.14.j.aas.c240542 Embodied Intelligence 它在给定体素化场景的 情况下, 学习应该“放大”场景的哪一部分. 通过迭 代应用这种“放大”行为, 实现了对平移空间的几乎 无损的离散化, 使得在连续机器人领域中可以使用 离散的强化学习方法, 取代了训练时往往样本效率 低且不稳定的连续控制强化学习方法. 然而由粗到 细的方案无法提供全局感受野, 在理解场景方面存 在缺陷. 针对这个问题, PerAct[87] 使用基于 Trans- former 体素编码器得到体素特征 不断地掌握新技能和更难达成的目标. 2.2 任务级 任务级负责完成各项具体的任务, 如抓取、导 航、定位等. 在一些工作如 ViLA[30] 中, 这些任务由 预定义的技能完成, 而相应的技能由强化学习、行 为克隆等方式学习得到. 在其他工作中, 子任务仍 然由大模型完成. OK-Robot[69] 构造了一个开放知识机器人系统, 它结合多种在公开数据上训练的基础模型, 并用于 在真实世界环境中拾取和放置物体

4.1.1 深度学习模型.............................................................................53 4.1.2 强化学习与组合优化..................................................................55 4.2 训练流程与技术............ 提 升调度策略的整体效率。 3. 迁移学习模型：对于设备故障诊断，可以采用预训练的深度学 习模型，通过迁移学习方式，针对少量故障数据进行再训练， 快速适应特定环境和设备。 4. 强化学习模型：强化学习对于优化调度策略及现场决策支持的 场景表现优越，能够通过实时反馈不断调整策略，提高整体运 行效率。 在确定模型后，接下来便是模型的训练过程。我们需要进行数 据预处理，确保数据的质量和适用性。对于时序数据，首先要进行 做好数据的划分，建议采用 70%的数据用于训练，15%用于验 证，15%用于测试。 训练过程中的参数调整也非常关键。我们可以通过下列步骤优 化训练效果：  超参数调优：使用网格搜索或随机搜索优化学习率、批大小、 层数等超参数。  交叉验证：利用 K 折交叉验证提高模型的泛化能力，避免过 拟合问题。  模型集成：可以考虑使用简易集成方法（如 Bagging 和 Boosting）

定义对话状 态 • 网络的输入是 NLU 结果和上一步系统动作 • 网络的输出是下一步系统动作的概率分布 • 可通过有监督学习或强化学习的方法训练 • 需要大量真实的、标注的对话数据 基于深度强化学习的对话状态跟踪 [Williams 2016] • 任务型对话将用户的输入和系统的输出都映射为对话动作 • 通过对话状态来实现上下文的理解和表示

............................... 7 图 3 单智能体强化学习原理图 .................................................................................... 7 图 4 多智能体强化学习原理图 ......................................... [Table_PicPe] 图2 AI Agent 智能体工作原理 资料来源：腾讯研究院，海通证券研究所 1.2 单智能体 vs 多智能体 单智能体与多智能体各具优势，适配于不同垂直领域。单智能体的强化学习原理是 基于马尔可夫决策来完成的，简单来说可以分为状态集 S、行动集 A、奖励 R，下一时 刻的状态和奖励只与上一时刻的行动有关，与更早之前的状态无关。其模型原理就是让 智能体用试错的方式来学习 每个智能体的目标是找到最优策略来使它在任意状态下获得最大的长期累积奖励。由于 其模型更为复杂，干扰因素较多等原因，目前多智能体模型商业化产品较少。 图3 单智能体强化学习原理图 资料来源：CSDN，海通证券研究所 图4 多智能体强化学习原理图 资料来源：CSDN，海通证券研究所 CrewAI 是世界领先的多智能体框架之一，在多智能体领域用于协调角色扮演型自主

速 在1月27日登顶第一名；截止1月30日，DeepSeek在 168个国家位居下载榜第一名 • DeepSeek-R1-Zero：一种通过大规模强化学习（RL ）训练的模型，没有监督微调（SFT）作为初步步骤， 展示了卓越的推理能力。通过强化学习，R1-Zero自然 而然地出现了许多强大而有趣的推理行为；但是，遇到 了可读性差和语言混合等挑战 • DeepSeek-R1：为了解决这些问题并进一步提高推理

了持续集成和持 续部署（CI/CD）的实践，以便于快速发现并修复问题，减少生产 环境中的错误率。 在智能体的训练和优化方面，我们采用了深度学习与强化学习 相结合的方法。通过深度学习，智能体能够从大量数据中学习复杂 的模式和知识；而强化学习则使智能体能够在不断与环境的交互中 优化其决策策略。例如，在客户服务场景中，智能体通过分析历史 对话数据学习如何更有效地解决客户问题，并在此基础上不断优化 法对合同条款进行合规性检查。支持与电子签名平台的集成，实现 合同的在线签署和存证。针对合同执行过程中的异常情况，设置监 控提醒和自动应对机制，确保合同执行的透明度和安全性。 智能推荐系统模块，采用协同过滤、深度学习和强化学习算 法，根据用户的历史行为、偏好和实时操作，提供个性化推荐。在 商务场景中，智能推荐系统不仅能够推荐相关产品和服务，还能为 用户提供最佳的谈判策略、风险预估和决策支持。通过持续学习用 户 确地理解用户的意图，提供更加个性化的服务。这不仅仅局限于文 本交互，语音识别和生成的准确性也将大幅提升，使得语音助手在 商务场景中的应用更加广泛和高效。 其次，机器学习算法将更加智能化和自适应。通过深度学习和 强化学习技术的结合，AI 智能体能够在不断的数据流中自我优化， 提高决策的准确性和效率。例如，在供应链管理中，AI 可以通过学 习历史数据和实时市场动态，自动调整库存水平，降低运营成本。 此外，边缘计算和物联网（IoT）的融合将为商务

动态实时更新预测结果，确保造价估算的时效性。  可解释性：通过引入注意力权重的可视化技术，模型能够提供 对预测结果的解释，帮助用户理解影响造价的关键因素。 此外，DeepSeek-R1 还结合了强化学习算法，通过与实际工 程环境的交互，不断优化模型的决策能力。例如，在材料采购策略 优化中，模型通过与供应链管理系统的集成，能够动态调整采购计 划，以最大程度降低成本并满足工程需求。 2.4 模型训练与优化 区 块链技术，模型的输入数据将更加透明和不可篡改，这不仅提高了 数据的安全性，也增强了模型输出的可信度。 在算法层面，深度学习和强化学习的结合将使 DeepSeek-R1 在处理非线性问题和复杂决策场景时表现出更高的灵活性和智能性。 例如，通过引入强化学习机制，模型可以在不断的项目实践中自我 优化，逐步提高对工程造价预测的准确性。同时，模型的解释性也 将得到提升，使得用户能够更好地理解模型的决策过程，从而增加 最新的 市场变化和技术进步。 为了进一步提升模型的实用性和智能化水平，可以考虑引入更 多的先进算法和技术。例如，结合自然语言处理技术，使模型能够 更好地理解和处理工程造价中的文本数据；结合强化学习算法，使 模型能够根据实际应用中的反馈不断自我优化。此外，还可以探索 将 DeepSeek-R1 与其他工程造价软件或平台进行集成，以实现更 高效的数据交互和协同工作。 在模型部署和使用过程中，应建立完善的技术支持和培训体系。

0 Flash Thinking 经过训 练后，可以生成模 型在回答问题时 经历的思考过程。 推理大模型 ：通过测试时拓展（ Test-Time Scaling ） 、强化学习、蒸 馏 等技术，大模型的推理能力不断增强。 o3 通过模拟推理技术，能够暂停并反思自 身内部的思考过程，从而在回答问题前进 行更深入的推理，类似于人类的思考方式。 推理大模型的发展