基于大模型的具身智能系统综述基于大模型的具身智能系统综述 王文晟 1 谭 宁 1 黄 凯 1 张雨浓 1 郑伟诗 1 孙富春 2 摘 要 得益于近期具有世界知识的大规模预训练模型的迅速发展, 基于大模型的具身智能在各类任务中取得了良好的 效果, 展现出强大的泛化能力与在各领域内广阔的应用前景. 鉴于此, 对基于大模型的具身智能的工作进行了综述, 首先, 介绍大模型在具身智能系统中起到的感知与理解作用; 介绍大模型在具身智能系统中起到的感知与理解作用; 其次, 对大模型在具身智能中参与的需求级、任务级、规划级和动作 级的控制进行了较为全面的总结; 然后, 对不同具身智能系统架构进行介绍, 并总结了目前具身智能模型的数据来源, 包括 模拟器、模仿学习以及视频学习; 最后, 对基于大语言模型 (Large language model, LLM) 的具身智能系统面临的挑战与发 展方向进行讨论与总结. 关键词 大语言模型 大语言模型, 大型视觉模型, 基础模型, 具身智能, 机器人 引用格式 王文晟, 谭宁, 黄凯, 张雨浓, 郑伟诗, 孙富春. 基于大模型的具身智能系统综述. 自动化学报, 2025, 51(1): 1−19 DOI 10.16383/j.aas.c240542 CSTR 32138.14.j.aas.c240542 Embodied Intelligence Systems20 积分 | 19 页 | 10.74 MB | 1 天前3
2025年面向具身智能的大小模型协同算法研究和实践报告面向具身智能的 大小脑模型协同算法研究及实践 盛律 | 软件学院 2025-08-23 1 具身智能的基本概念 基于物理载体进行感知和行动的智能系统,其通过智能体与环境的交互获 取信息、理解问题、做出决策并实现行动,从而产生智能行为和适应性 具身 智能 2 具身智能的基本概念 基于物理载体进行感知和行动的智能系统,其通过智能体与环境的交互获 取信息、理解问题、做出决策并实现行动,从而产生智能行为和适应性 行为和适应性 具身 智能 传统智能 具身智能 只可远观,被动接受 别人告诉我这就是盒子 可以打开,可以装东西 我主动体验什么是盒子 被动抽象接受 主动具体体验 重要 意义 具身智能因其能自主产生智能行为和适应性,是通用人工智能的可能起点 3 具身智能的关键任务 导航 问答 操作 4 具身智能的核心目标 5 具身智能的核心要素 具身载体(Agent) 具身模型(Model) 物理 载体 相比具身载体的日趋成熟,具身模型的算法研究方兴未艾、挑战众多 现状 6 具身模型应该考虑哪些能力? n 技能泛化、真实交互、本体扩展 Skill (技能泛化) Reality (真实交互) Embodiment (本体扩展) Adapted from Jim Fan’s talk 7 具身模型的几种类型 大小脑协同 端到端 8 具身模型的最新进展:代表性新工作20 积分 | 37 页 | 4.24 MB | 1 天前3
2025全球人形机器人企业能力画像整机能力评估模型V2.026页however caused. The information herein should not be regarded as a substitute for legal advice. by M2具身智能研究院,2025.8 北京 2025全球人形机器人企业能力画像 [人形机器人整机企业能力评估模型2.0] M2 2025 Proprietary and Confidential All 回顾更新:2025全球人形机器人量产现状 & 2030展望 3. 聚焦思考:2025全球人形机器人企业能力评估模型 4. 假设展望:未来3-5年各类画像企业成长曲线、商业模式 5. M2具身智能研究院 - 赋能具身智能全产业链企业持续增长 M2 2025 Proprietary and Confidential All Rights Reserved. 人形机器人产业链出海现状(上游零部件) Reserved. 人形机器人产业链出海现状(中游整机) 人形机器人整机出海加速,当前主流企业以设立海外销售主体为主,出海产品以服务/康复/教育机器人为主,2024人形机器人加速。 4 中国具身智能机器人整机企业全球布局 北美 东南亚 欧洲 • 2022、2025,设2家香港子公司,计划辐射 东南亚、欧洲 • 2018,成立新加坡子公司、全球海外事业部 • 2015、2020,成立两家美国销售分公司10 积分 | 26 页 | 2.74 MB | 1 天前3
人形机器人行业:由“外”到“内”,智能革命-证券研究报告|行业深度研究报告 核心观点 2 资料来源:华西证券研究所 人形机器人:承载AI未来 人形机器人的外观和行为与人高度相似,能够适应人类的生存环境、使用人类的生产工具,形态更易令人产生共鸣,是具身智能最理想的载体。受政 策出台、技术成熟、需求高涨和供给竞争等因素的推动,人形机器人正处于商业化爆发的前夜,生产成本快速下降,国内外巨头接连入局构建生态。 产业链:国产替代趋势明显 人形机器 G1 ,定价仅9.9万元起,有望推动人形机器人进入千 家万户。Figure AI率先探索人形机器人实际应用, Figure 01已在宝马美国斯帕坦堡工厂进入试点环节,还与OpenAI合作推进机器人具身智能。 计算机领域:控制与感知 控制系统负责对人形机器人的行为和运动进行规划和控制,相当于“大脑”和“小脑”,视觉则是人形机器人对外感知的主要渠道,二者共同构成人 形机器人的核心领域。机器人 eepMind与斯坦福大学联合推出的Mobile Aloha也 两次迭代更新;沉寂许久的波斯顿动力放出Atlas拾起并搬运汽车零部件的视频;宝马将Figure AI的人形机器人投入工厂试用;华为全球具身智能产业创 新中心正式运营,与乐聚机器人等16家企业签署了合作备忘录,正式入局人形机器人领域;宇树科技发布了低价人形机器人Unitree G1;丰田人形机器人C UE6完成了24.55米的远距离篮球0 积分 | 49 页 | 3.78 MB | 5 月前3
信通院:“机器人+人工智能”工业应用研究报告2025四个部分。首先,从技术突破、大国竞争和市场前景三个角度,分析 “机器人+人工智能”工业应用的发展背景;其次,从技术趋势的角 度,回顾人工智能与机器人融合的三大技术方向,分析在人工智能大 模型推动下,以人形机器人为代表的具身智能技术的前沿进展;接着, 从应用场景的角度,通过全球 88 个案例分析“机器人+人工智能”在 典型场景、行业中应用情况;最后,从技术、产品和应用三个方面, 展望“机器人+人工智能”在工业场景中的应用前景。 二、全球“机器人+人工智能”技术趋势分析 .................. 3 (一)工业领域的机器人正在从中等智能走向高度智能 ...... 3 (二)三大融合方向及其组合推动智能机器人产品涌现 ...... 5 (三)具身智能尤其是人形机器人前沿研究持续火热 ........ 8 三、“机器人+人工智能”在工业领域的应用 ................. 10 (一)应用场景:从生产操作向其他高附加值场景拓展 .. 18 3、钢铁:聚焦质量管理和安全管理 ...................... 20 四、“机器人+人工智能”工业应用展望 ..................... 22 (一)具身智能机器人将进一步变革工业生产形态 ......... 22 (二)工业人形机器人规模化应用仍需经历长期技术迭代 ... 22 (三)行业应用将从汽车电子向其他制造业领域渗透 ....... 230 积分 | 37 页 | 2.06 MB | 5 月前3
世界互联网大会&联通:2025人形机器人应用与发展前瞻报告各国人形机器人战略布局各有侧重 全球主要经济体均高度重视具身智能发展,不断出台政策支持具身 智能发展,提升全社会对机器人领域的关注和支持。美国紧抓人工智 能基础研究,保持具身智能领域的前沿领先地位。先后出台《国家机 器人计划3.0》和《国防部人工智能战略》,将AI技术竞争上升至国家 战略层面。欧盟方面,积极推进具身智能发展,强调具身智能的安全 与透明度,先后推出《欧盟机器人研发计划》、《欧洲人工智能战略 欧洲人工智能战略 》和《人工智能驱动机器人战略》等。欧盟还以《人工智能法案》为 基础,构建了具身智能发展的伦理框架与产业规范。亚洲地区,日本 正在将机器人纳入社会并使机器人成为其社会基础的关键部分。2022 年日本政府将机器人赋能制造、服务、医疗等应用场景的资金支持提 升至1057亿日元。人口老龄化背景下的机器人替代人类是支持重点, 推出了《社会基础设施用机器人重点领域》和《服务机器人安全操作 的人形机器人企业。杭州宇树推出的Unitree H1、Unitree G1人形 机器人性能佳、价格低,可用于工业、家庭服务等多重场景。 图3 国外企业融资情况概览 (来源:中国联通研究院) 05 来源:中金公司《具身智能:AI下一站》 二、人形机器人的技术演进 (一)整机“智能化感知决策水平”不断提升 在全球人形机器人领域,特斯拉、Figure AI、波士顿动力处于第 一梯队,1X、Digit等5 积分 | 24 页 | 5.42 MB | 19 天前3
华为-人工智能行业:智能世界2035-20250918-134页辩证的思维去理解并塑造未来,共同迎接一个以人为本、人机共生、绿色可持续的智能新纪元。 中国科学院院士 北京航空航天大学教授 人工智能学院院长 随着智能世界 2035 的到来,人类进入关键历史时刻。数字认知和物理世界相互融合,具身智 能应运而生,重塑着我们星球的方方面面。作为香港科技大学首席副校长,我很荣幸与大家分享未 来愿景。这一愿景不仅汲取了华为《智能世界 2035》报告中揭示的技术趋势,更凝聚了学术界、 产业界和社会的共同期待。 量子处理器等。存储将迈入尧字节时代,让数据“觉醒”,为持续学习提供有形资源。云边协同共 生将推动 AI 民主化,而能源领域的突破,特别是高密度电池和可持续发电,将消除认知和实现之间 的最后障碍。在这些基础设施的加持下,具身智能将成为可能,促进制造机器人、家庭助手等物理 实体以自主性、适应性和目标导向的方式行动。 这将对我们的星球产生深远积极的影响。以道德框架为指导、以清洁能源为动力的智能体将在 农业、物流和电网 的气候建模将提供前所未有的预测能力,帮助决策者采取预防措施,应对极端天气事件和海 平面上升,这对像香港这样易受影响的沿海地区来说至关重要。 人类生产将经历场景跃升,重塑工作的本质和创造力。在制造业,具身智能将催生出自我优 化的工厂,机器不仅能执行任务,还可在运行过程中实时优化流程设计,形成一个持续创新的良性 循环。在金融服务业,智能体在风险评估、欺诈检测和提供个性化咨询服务方面的能力将接近人类20 积分 | 134 页 | 27.89 MB | 1 天前3
电子行业:AI大模型需要什么样的硬件?-20240621-华泰证券-40页机交互困难一直是困扰其发展的一大难点。从最近谷歌推出的 Project Astra 以及 Meta 的雷朋眼镜中我们看到,大模型所具备的图像理解、语音交互, 以及根据语音交互结果进行的执行能力有望大幅度提高 AR 眼镜的交互能 力。目前具身智能的发展仍处于非常早期的阶段,但是大模型所具备的以上 能力有望大幅提高机器人对环境的理解能力,以及根据理解结果控制关节等 的执行能力。相关标的包括:Meta,奕瑞,龙旗,舜宇,水晶光电,歌尔。 ............................................................................. 15 大模型应用#3:AI 大模型推动具身智能技术加速迭代 .......................................................................................... 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。 4 电子 图表2: 大模型发展推动硬件载体的变迁 资料来源:华泰研究 大模型如何赋能终端:交互能力提升(轻量级 AR),代码执行(具身智能)。AR/VR 一直 被认为有望替代手机成为下一代移动终端。但由于缺少触摸屏,人机交互困难一直是困扰 AR/VR 发展的一大难点。从最近 OpenAI 推出的 GPT-4o、谷歌推出的 Project10 积分 | 40 页 | 2.60 MB | 5 月前3
AIGC+教育行业报告2024框架。 在教学主体方面,AIGC带来人机协同教学和师资强化的期待,也引发AI挑战教师主体地位的思考; 在教学载体方面,AIGC有望赋能教师并实现规模化的因材施教,但也挑战传统学习模式和评价工 具;在教学内容方面,高阶通识能力、跨学科复合能力的重要性被重提,并辅以AIGC技术素养要 求;在学习主体方面,引发近乎科幻但并不遥远的哲学思辩:教育人类还是训练大模型,二者可 能存在着广义上教育资源的竞争。 与N个专家模型多重组合的形态。 在内容层面,基于神经网络技术的AIGC与素养发展具有天然相似的基因,企业可以发力C端小模 型从而引领行业发展;在技术层面,大模型分析+多模态交互+Agent规划+具身智能行动,AGI 完全体与教育场景深度适配;在福祉落地层面,教育各界需通力合作,努力克服机会、技能、资 源的三大鸿沟;在人机协作层面,人机关系进入新历程,人机共育,生命循环,互为滋养,人类 将与AI一起永无止境地学习、构建。 来源:原教育部部长陈宝生《从ChatGPT看教育的未来和未来的教育》,艾瑞咨询研究院自主研究及绘制。 工具 关系 群体 理论 经验 能力 感觉 自然 社会 … … … 词 语 规 模 达 到 某 个 临 界 点 具 体 化 为 概 念 数字语言 自然语言 机器语言 教育 发生 从词语到概念,抽象程度的提高,使得教育得 以发生,知识、概念、经验得以传授和传承 ➢ 长度单位:米、厘米、毫米等 ➢ 质量单位:千克、克、毫克等10 积分 | 55 页 | 3.32 MB | 5 月前3
人形机器人标准化白皮书(2024版)-全国机器人标准化技术委员会2)智能机器人、具身智能、具身智能机器人的关系:中国信息通 信研究院和北京人形机器人创新中心有限公司于 2024 年 8 月联合发布 的《具身智能发展报告(2024)》中对具身智能的定义为“依靠物理 9 实体通过与环境交互来实现智能增长的智能系统”,智能机器人的智 能性可以是依靠各类数据前期训练而获得,也可以是其依靠物理实体 通过与环境交互来实现智能增长。所以智能机器人也不等于具身智能, 两者之间有交集,交集部分即为具身智能机器人。 3)人形机器人(广义)、双足机器人、其他机器人的关系:国际 标准 ISO 8373:2021《Robotics - Vocabulary》中对双足机器人的定 义为“legged robot that travels using two legs ”,即双足机器 人是用两条腿移动的腿式机器人,而腿或机器腿的定义为“mechanism of interconnected 围绕人形机器人整机制造、整零协 同、技术攻关、产业培育、多元应用 等维度提出具体的产业发展方针与 目标 广东省 《关于人工智能赋能千行百业若干措施》 2024 年 提出推进智能机器人创新发展,推动 人形机器人等具身智能机器人研制 和应用 广东省 广东省培育未来智能装备产业集群行动 计划 2024 年 提出了到 2030 年人形机器人等领域 工作目标以及重点任务、工程 2.1.1.3 国外相关政策10 积分 | 89 页 | 3.98 MB | 5 月前3
共 146 条
- 1
- 2
- 3
- 4
- 5
- 6
- 15
