对基于大语言模型 (Large language model, LLM) 的具身智能系统面临的挑战与发 展方向进行讨论与总结. 关键词 大语言模型, 大型视觉模型, 基础模型, 具身智能, 机器人 引用格式 王文晟, 谭宁, 黄凯, 张雨浓, 郑伟诗, 孙富春. 基于大模型的具身智能系统综述. 自动化学报, 2025, 51(1): 1−19 DOI 10.16383/j.aas 具身智能的概念最早可以上溯至 1950 年图灵 在其著名论文“Computing machinery and intelli- gence”[1] 中对未来机器发展方向的设想: 一个方向 是让机器学会抽象技能, 如下棋; 另一个方向则是 为机器人提供足够好的传感器, 使之可以像人类一 样学习. 前者的思想出现在后来发展的各类神经网 络如多层感知机、卷积神经网络中, 即离身智能; 后 者则逐渐发展出了具身智能的概念 真实世界的问题来说, “具身”的实现仍然是必要的, 与强调从经验中学习并泛化的离身智能方法相比, 具身智能更强调与环境的交互, 只有拥有物理身体 才能与世界进行互动, 更好地解决现实问题[3]. 当 前, 随着机器人技术和计算机科学的发展, 具身智 能受到更多的关注, 逐渐从概念走向实际应用, 而如何利用目前飞速发展的计算能力与人工智能 (Artificial intelligence, AI) 技术提高具身智能的表

智能对话解决方案赋能企业提升效率 • 具有 AI 能力的机器人平台和智能对话解决方案 • 基于大数据挖掘的用户画像，实现个性化推荐 • 超过 95% 的 AI 准确率，人效优化 60% • 2-3 倍的销售转化率提升 来也专注于智能对话技术 2 、用对话机器人 替代人工 . 在线客服 . 智能 IVR . 智能外呼 3 、用对话机器人 提升效率和体验 . 智能营销 可穿戴设备 适合智能对话系统的场景 . 用户希望得到特定问题的答案 . 机器人回复来自特定领域的知识 库 . 以准确率为评估指标 . 用户希望完成特定的任务 . 机器人通过多轮对话满足用户需 求 . 以需求完成率为评估指标 . 用户没有明确目的 . 机器人也没有标准答案 . 以相关性、趣味性为评估指标 任务型对话 闲聊 问答型对话 题可 以被同样的答案来回 答。 问答机器人将用户的问题匹配 到知识库中最相近的知识点上， 用该知识点的答案回答用户。 如何成为会员 • 怎么注册会员 • 我想成为会员 • 会员怎么申请 会员有什么权益 • 会员有特权吗 • 会员能干什么 • 会员有啥好处 怎么查询积分 • 我有多少积分 • 如何查看积分 • 哪里能查积分 问答机器人 机器人回答 命中知识点“如何查询积分”

支付方式： 新时达以发行股份及支付现金相结合的方式 6. 是否构成上市公司重大资产重组： 构成上市公司重大资产重组 7. 本次交易对上市公司影响 本次交易将进一步优化公司业务结构、完善公司在运动控制及机器人业务领域的产业链、扩大 公司 业务规模、壮大公司主营业务， 有利于进一步提升上市公司的综合竞争能力、市场拓展能 力、资源 整合能力，进而提升公司 information • 产品定位 • XF4.0 版，多场景智能交互机器人，实现人机、机机智能交互，支持客服、 营销、推荐、类 Siri 服务等 • 突破现有机器人只解决客服问答癿狭义定位 小富机器人 用智慧发现信息价值 Discover information 用智慧发现信息价值 Discover information 场景机器人框架 • 场景 = 业务框架 + 知识类型 + 交互斱式 给谁 投保 5 岁 是 小富机器人优势不特色 智能化：智能机器人和知识库 工具创新战略 小富机器人 — 中国富二代机器 人 》 知识表示标签化 知识结构差异化 知识加工自动化 用智慧发现信息价值 Discover information 》》》 普通型知识 流程型知识 要素型知识 列表型知识 场景化 小富机器人优势不特色 传统一代机器人癿工作过程示意 第一步 获取业务文档

1 埃森哲报告：AI 赋能保险，三大应用场 景如何重构价值链？ 人工智能(AI)使机器能够模拟和增强人类智能，它的出现正值保险和其他行业 数字化转型之际。尽管人工智能技术仍处于发展阶段，但在现实世界中，它 已应用于不同行业。人工智能正被用来解决各种各样的挑战，它使机器和系 统之间的交互更智能、更简单。 保险公司也逐渐进入这一领域，新一代人工智能技术有望帮助保险公司重新 定义其工作 的“AI+保险”行业报告，该报告的重点包括： •人工智能将帮助保险公司重新规划现有流程，设计创新产品，提升客户体验； •保险公司必须采取合适的战略，来更好地管理人力资源； •保险公司应该改变现有工作方式，包括采用 RPA(机器人流程自动化)以及智 能决策支持系统； 2 •保险公司要允许人工智能在整个价值链中创造性地利用数据，挖掘所有数据 集中隐藏的价值。 AI 三大应用场景：人力资源+流程管理+数据分析 够感知、理解、行动和学习的计算机系统。换句话说，一个系统可以感知它 周围的世界，分析和理解它接收到的信息，并在此基础上采取行动，通过学 习改进自己的性能。 通过利用机器与环境、人以及数据进行交互，这项技术可以提高人类和机器 的能力，使之远远超出了它们各自工作时的能力。 而人工智能的实际应用则要更进一步，它意味着结合智能技术和人类智慧， 并应用于商业的每一个流程，帮助企业解决最复杂的挑战，开辟新市场或者

自主化指数：0~25% 自主化指数：25%~50% 自主化指数：50%~75% 自主化指数：> 75% 作业流程主要依赖人力。 作业流程主要通过人工执行 （使用需要人工干预的大型 传统IT系统，或手动操作的 机器）。 • • 作业流程日趋自动化，将人力 从繁琐任务中解放出来。 但是，各项决策和指令均由 人工做出。 • • 作业流程通过智能决策辅 助系统得到增强，该系统能 提供操作建议与洞察以优化 度（见图2）：任务自动化与决策自主化。在任务 自动化层面，机器将取代人工执行具体任务。例 如，订单处理自动化可以让机器完成验证订单、 检查库存、创建货运标签以及处理异常情况等 工作，从而将人力解放出来，专注于更具战略性 的事务。在决策自主化层面，机器则会取代人工 进行决策制定。正如供应链经理会响应突发事 件，指导团队成员完成特定任务一样，机器也 能够规划、执行、纠正并改进各项活动，以达成 既定的绩效标准。 策自主化能力，但至少在目前阶段，仍离不开人 的参与。人与技术各有所长，协同合作方能取 长补短。在双方能力领域的交汇处，便形成了 “人机协作”的劳动力形态，现场及远程员工与 自主智能体、智能机器人实现无缝集成。3 在 最高效的自主化系统中，人类的角色并不仅仅 是作为“执行环”（in the loop）来完成任务，他 们更应处于“监督环”（on the loop），在诸如设 计、测试与验证等流程的关键节点上发挥监督与

技术基础...................................................................................12 2.1 深度学习与机器学习...........................................................................14 2.2 自然语言处理（NLP）... 融机构提供了更高效、更精准的解决方案。首先，DeepSeek 可以 通过对海量交易数据的实时分析，帮助银行快速识别异常交易行 为，提升反洗钱和欺诈检测的准确性和效率。例如，利用 DeepSeek 的机器学习模型，可以在毫秒级时间内对数百万笔交易 进行筛查，从而及时发现潜在风险。其次，DeepSeek 在客户关系 管理方面也展现出巨大潜力。通过分析客户的历史行为数据和偏 好，银行可以为其量身定制金融产品和服务，提升客户满意度和忠 应金融行业的多样化需求。 2.1 深度学习与机器学习 深度学习（Deep Learning）和机器学习（Machine Learning）作为人工智能领域的核心技术，在金融银行的应用中具 有广泛的实用价值。机器学习通过从大量数据中提取模式并建立预 测模型，能够帮助银行优化业务流程、提升风险管理能力以及增强 客户体验。而深度学习作为机器学习的一个重要分支，通过构建多 层神经网络，能

· · · · · · · · · · · · · · · · · · · · · · · · · 76 图9 智能客服机器人技术架构图· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 79 图10 养老陪伴机器人功能示意图· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 102 车险出单“星驰”系统· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 107 企微运维机器人· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 108 华农保险大模型微调效果· · · · · · 大模型产业图谱 �� 大模型训练数据通常来自网络获取数据、外部付费/开源数据集、企业自有数据以及AI 合成数据。大模型训练和微调所需数据量快速增长，真实世界数据将在数年内被用尽。研 究机构Epoch估计，机器学习可能会在2026年前耗尽所有“高质量语言数据”。据Gartner 预测，2024年用于训练AI的数据中有60%将是合成数据。以Meta今年7月发布的 LLaMA3.1模型为例，监督微调环节的

通过理解 - 交互 - 咨询 - 任务等环节 ，完成交易闭 环 个性化的需求如何更高效的被满足？ 如何提升基于交互的服务效率和服务体验？ 任务型对话机器人 商业智能 智能分组推送 个性化推荐 知识库 问答型对话机器人 领先的知识型交互机器人 最懂你的私人助理 结束语 . 提升智能助理产品的可靠性 . 深度学习与智能助理产品 . 智能助理产品的特点 目 录 • • 对一段文本对应的向量进行转换， Predict 1. Embed 2. Encode • 将每个词或字映射为向 量 深度学习的应用：意 图识别 l 基于深度学习，完全数据驱动，无需特征工程 l 效果明显优于传统机器学习模型 l 在 20 多个领域下准确率可达 96% Softmax Attention LSTM LSTM LSTM 100% 95% 90% 85% 80% 75% 70% 65% 60% 意图识别准确率 传统机器学习 Accuracy 意图识别结果 来也深度学习 输入文本 传统基于规则 意图识别结果 t CRF 输入文本 - LSTM

2024/1 2024/4 信息服务 海通综指 资料来源：海通证券研究所 相关研究 [Table_ReportInfo] 《计算机行业跟踪周报 350 期：信创操作 系统持续发展，人形机器人落地前景可 期》2024.08.11 《医疗 IT 订单月度数据跟踪系列：7 月中 标订单表现平淡，政策有望加速医疗 IT 需求释放》2024.08.08 《计算机行业 2024 年 8 月研究观点：各 资料来源：CrewAI，CSDN，海通证券研究所 1.3 Prompt 提示词的艺术 Prompt 是一种基于自然语言处理的交互方式，它通过机器对自然语言的解析，实现 用户与机器之间的沟通。可以理解为是一段给定的文本或语句，用于启动和引导机器学 习模型生成类型、主题或格式的输出。在自然语言处理领域中，Prompt 通常由一个问 题或任务描述组成，例如“帮我写一篇有关人工智能的文章”，“帮我编写一段可以整理 基于目标的 Agent 基于目标的 Agent 会评估和规划行动，以实现它们的目 标。与其他类型的智能 Agent 不同的是，它们能够将前 瞻性和战略规划结合起来，朝着特定的结果前进。 扫地机器人、项目管理软件、 电子游戏 基于模型的 Agent 适用于并非总是可见或可预测的信息时。这个模型会根 据环境中传入的数据不断更新，因此人工智能 Agent 可 以对环境中未见的部分进行推断，并预测未来的状况。

.............................................................................................30 2. 机器学习与深度学习............................................................................................ 析提供精准的商业洞察。因此，设计一套切实可行的商务 AI 智能 体应用服务方案，对于企业在数字化转型中保持领先地位显得尤为 重要。 首先，商务 AI 智能体的核心优势在于其能够通过自然语言处理 （NLP）和机器学习（ML）技术，实现对海量数据的快速处理与分 析。例如，在客户服务领域，AI 智能体可以通过分析客户的历史行 为和偏好，提供个性化的服务建议，从而提升客户满意度和忠诚度。 此外，在供应链管理方面，AI 为了实现这些目标，方案将聚焦于以下几个关键领域的应用：  业务流程自动化：通过 AI 智能体自动处理重复性高、规则明 确的任务，如订单处理、库存管理和财务核算，降低人工成本 并减少错误率。  智能决策支持：利用机器学习和大数据分析技术，从海量数 据中提取有价值的商业洞察，协助管理层制定更科学的战略决 策。  智能客服系统：部署基于自然语言处理（NLP）的智能客服， 支持多渠道、多语言的即时响应，解决客户问题并收集反馈，