【研究】融合强化学习的工业机器人数字孪生仿真方法研究

微信扫码，打开到小程序

系统仿真学报 系统仿真学报© Journal of System Simulation 第 36 卷第 12 期 2024 年 12 月 Vol. 36 No. 12 Dec. 2024 融合强化学习的工业机器人数字孪生仿真方法研究 融合强化学习的工业机器人数字孪生仿真方法研究 缪天越，王璐*，何家孝，谢能刚 (安徽工业大学 机械工程学院，安徽 马鞍山 243032) 摘要 摘要：针对工业机器人领域构建的数字孪生系统功能不全面、应用场景较为单一带来的通用性不 高的问题，提出一种具有较高通用性的工业机器人数字孪生系统的构建方法。设计了数字孪生四 维系统架构，对四维系统各部分组成及作用进行分析，并基于四维系统规划系统等级，定义了融 合强化学习的虚替实概念；通过构建多属性虚拟模型，利用TCP通信协议搭建数据通信系统进行 虚实数据交互，结合机器人正逆运动学分析，实现虚实映射与控制功能；构建了强化学习虚拟场 景，使用虚拟机器人模型代替实体机器人进行强化学习训练，实现自动规划路径功能。实验结果 验证了该系统的可行性和可靠性，为进一步丰富工业机器人数字孪生系统功能提供了新方案。 关键词 关键词：数字孪生；工业机器人；强化学习；四维模型；虚实映射 中图分类号：TP391.9 文献标志码：A 文章编号：1004-731X(2024)12-2971-13 DOI: 10.16182/j.issn1004731x.joss.23-1233 引用格式 引用格式: 缪天越, 王璐, 何家孝, 等. 融合强化学习的工业机器人数字孪生仿真方法研究[J]. 系统仿真学报, 2024, 36 (12): 2971-2983. Reference format: Miao Tianyue, Wang Lu, He Jiaxiao, et al. Research on Digital Twin Simulation Method of Industrial Robot Integrated with Reinforcement Learning[J]. Journal of System Simulation, 2024, 36(12): 2971-2983. Research on Digital Twin Simulation Method of Industrial Robot Integrated with Reinforcement Learning Miao Tianyue, Wang Lu*, He Jiaxiao, Xie Nenggang (School of Mechanical Engineering, Anhui University of Technology, Maanshan 243032, China) Abstract: In response to the lack of comprehensive functionality and limited application scenarios in the current field of industrial robot digital twin systems, which results in low versatility, a method for constructing a digital twin system for industrial robots with high versatility is proposed. A four- dimensional system architecture for the digital twin is designed, and the components and functions of the four-dimensional system are analyzed, based on the system level planning of the four-dimensional system, the concept of integrating reinforcement learning into the virtual replacement of real concept is defined. By constructing a multi-attribute virtual model and using TCP communication protocol to build a data communication system for virtual-real data interaction, combined with robot forward and inverse kinematic analysis, the virtual-real mapping and control functions are achieved. A reinforcement learning virtual scene is constructed, using a virtual robot model to replace the physical robot for reinforcement learning training, to achieve automatic path planning functionality. The experimental results verify the feasibility and reliability of the developed digital twin system, providing a new solution for further enriching the functionality of industrial robot digital twin systems. 收稿日期：2023-10-12 修回日期：2023-11-12 基金项目：安徽省自然科学基金(2108085MG237) 第一作者：缪天越(1998-)，男，硕士生，研究方向为数字孪生、工业机器人。 通讯作者：王璐(1976-)，男，教授，硕士，研究方向为数字孪生、智能制造。 第 36 卷第 12 期 2024 年 12 月 Vol. 36 No. 12 Dec. 2024 系统仿真学报 Journal of System Simulation http: // www.china-simulation.com Keywords: digital twin; industrial robots; reinforcement learning; four-dimensional model; virtual-real mapping 0 引言 引言 工业4.0的提出，加速了工业机器人智能化的 步伐，数字孪生技术作为一种信息化、智能化的 手段，越来越多地应用于工业机器人的实际生 产中 [1-2]。 数字孪生以数字化技术构建与物理空间中的实 体在多尺度、多领域相一致的虚拟孪生体模型，通 过在实体对象与虚拟孪生体模型之间构建数据通 信，达成虚实闭环交互，利用虚实数据的交互融 合，显示、预测、优化实体在物理空间中的行 为 [3-4]。针对数字孪生，学者们做了许多研究，在可 视化监控方面，赵浩然等 [5]提出一种面向数字孪生 车间的三维可视化实时监控方法，实现了在数字孪 生系统中对车间的实时可视化监控；王栎淇等 [6]提 出实时数据驱动的数字孪生车间输送线系统架构， 提高了车间生产过程的可视化程度；杜莹莹等 [7]在 Unity中构建虚拟场景，在物理层和虚拟层搭建数 据映射系统，实现对工业机器人的实时监控。上述 对于数字孪生的研究应用主要集中在以虚映实层 面，没有对物理实体的运行控制做进一步研究，而 数字孪生的本质要求系统应能实现虚实交互。因 此，针对虚实联动，有学者做了相应研究，陈玉娇 等 [8]将数字孪生技术应用于机器人码垛工作流程， 融合实体机器人的作业数据，实现了作业策略的优 化；魏新宇等 [9]将数字孪生技术应用于碳块清理机 器人，解决了电解铝工业中碳块表面清理难的问 题；Gaurav等 [10]提出一种使用数字孪生技术对工业 机器人进行在线/远程编程的方法，建立了基于数 字孪生的VR界面，实现了在虚拟环境中对工业机 器人进行编程。这些研究虽然将数字孪生做到了以 虚控实层面，但是往往只针对某一特定场景，所以 系统功能比较单一，主要偏向于对实体控制的某一 部分，无法做到将示教器的路径规划功能整体迁移 至数字孪生系统中，从而导致通用性不高，无法很 好地应对实际的复杂工作环境。 针对上述现状，为了提高工业机器人数字孪 生系统的通用性，提出一种数字孪生四维架构方 案，所开发的数字孪生系统具有运行可视化、运 动仿真与控制、自动规划路径功能，能够对机器 人的运行进行优化控制。根据四维系统架构，设 计了虚映实、虚控实、虚替实 3 个等级，分别对 应上述3个功能，并按照这3个等级对关键技术进 行实现 [11]。虚映实等级涉及多属性虚拟模型的建 立、TCP 通信系统的构建、数据的映射；虚控实 等级涉及运动学分析和运动学模型的建立；虚替 实等级涉及虚拟强化学习场景的搭建及训练方法 的设计。在此基础上，构建出在虚拟空间和实体 空间能实时交互的数字孪生体，开发出具有较高 通用性的数字孪生系统。 1 工业机器人数字孪生系统构建 工业机器人数字孪生系统构建 方案 方案 1.1 系统总体架构 系统总体架构 数字孪生实质上是一种闭环的虚实交互，利 用数据进行虚拟模型和实体模型的双向驱动，将 实体机器人和虚拟机器人通过数据通信系统相连 接，构建孪生数据传输通道，并设计面向工业机 器人实际生产活动的数字孪生功能，满足制造业 智能化生产、信息化管控的需求。本文提出一种 工业机器人数字孪生体系架构，如图1所示。 (1) 实体工业机器人层是现实环境中的工业机 器人，为数据层提供物理角度数据，同时接收来 自数据层的指令数据。 (2) 虚拟工业机器人层是根据实体机器人的属 性在虚拟环境中创建而来。一方面，可以与应用 功能层相互配合，完成各功能的实现，另一方面， 可以与数据层进行数据交互，实现孪生数据在整 • 2972 • 第 36 卷第 12 期 2024 年 12 月 Vol. 36 No. 12 Dec. 2024 缪天越, 等: 融合强化学习的工业机器人数字孪生仿真方法研究 http: // www.china-simulation.com 个系统的流转。 (3) 数据层由实体机器人和虚拟机器人层运行 产生的数据组成，是整个系统架构的中间桥梁， 负责孪生数据在系统的传输。 (4) 应用功能层为数字孪生系统提供运行可视 化、运动仿真与控制、自动路径规划功能，是数 字孪生系统的核心。 1.2 系统等级及开发流程 系统等级及开发流程 根据对四维系统架构的分析，本文规划了数字 孪生系统等级：①虚映实，指虚拟机器人映射实体 机器人的动作，达到虚实同步的状态，在虚映实等 级开发了运行可视化功能；②虚控实，指利用虚拟 机器人通过搭建好的控制框架来控制实体机器人的 运行活动，在虚控实等级开发了运动仿真与控制功 能；③虚替实，由虚拟机器人代替实体机器人运行 相关任务，这些任务通常是实体机器人较难完成或 不能完成的，完成这些任务可能会对实体机器人造 成较大损害，但在虚拟空间中通过虚拟机器人去完 成，可以避免这些损失。在虚替实等级，将数字孪 生与强化学习相结合，使用虚拟机器人代替实体机 器人进行强化学习，并将学习成果应用于数字孪生 系统中，开发了自动路径规划功能。图2为系统等 级与对应等级的开发流程。 2 虚映实等级的实现 虚映实等级的实现 在虚映实中，通过采集真实且实时的物理实 体数据去驱动数字孪生模型，能够直观展示与物 理实体一致的运行状态和过程，从而达到远程实 时监控的效果，在一定程度上突破时间、空间对 物理实体实时监控的限制 [12]。 根据系统架构，本节描述了虚映实等级的实 现方法：建立虚拟空间中的三维模型，作为实体 的孪生体；为了实现虚拟空间与物理空间的一一 映射，建立数字孪生通信系统，实现数据的传输； 对数据进行解析，并映射至虚拟模型。 2.1 虚拟模型创建 虚拟模型创建 2.1.1 几何属性模型建立 几何属性模型建立 几何属性模型直观描述实体机器人的几何参 数、形状尺寸。本文采用 SolidWorks 创建几何模 型。为保证虚实模型的一致性，建模时根据实体 机器人各部件的实际尺寸进行1:1建模，同时使用 实际各部件的位置数据进行虚拟模型的装配。其 次，Unity支持的模型格式为FBX，还需对几何模 型执行格式转换操作。本文使用Pixyz Studio来处 理模型，将模型导出为 FBX 类型，最终模型效果 如图3所示。 图1 系统总体架构 Fig. 1 Overall architecture of system • 2973 • 第 36 卷第 12 期 2024 年 12 月 Vol. 36 No. 12 Dec. 2024 系统仿真学报 Journal of System Simulation http: // www.china-simulation.com 2.1.2 物理属性模型建立 物理属性模型建立 物理属性模型指机器人本身具有的物理属性、 配置信息，例如，各部件的从属关系。在Unity层 级图中对各部件进行关系配置，将代表后一关节 的变量拖入前一关节的变量下，使虚拟机器人模 型拥有与实体机器人相同的物理运动关系，最终 效果如图4所示。 2.2 数据通信系统 数据通信系统 ER3A-C60 机器人支持 TCP/IP 协议，因此 ， 使用TCP/IP协议构建数字孪生数据通信系统，实 现各层级之间的数据通信。图 5 为数字孪生系统 的数据通信架构。 在该架构中，TCP 服务器为实体工业机器人 或MATLAB，当TCP服务器为实体机器人时，负 责响应Unity端的请求以及通过数据端口采集工业 机器人数据；当TCP服务器为MATLAB时，负责 接受来自Unity的路径点数据以及对路径点数据进 行对应的路径规划；客户端为Unity，负责向实体 工业机器人或MATLAB请求数字孪生系统运行所 需的数据以及发送相关控制命令。 图3 Pixyz Studio处理 Fig. 3 Pixyz Studio processing 图2 系统等级与开发流程 Fig. 2 System hierarchy and development process 图4 Unity效果图 Fig. 4 Unity rendering • 2974 • 第 36 卷第 12 期 2024 年 12 月 Vol. 36 No. 12 Dec. 2024 缪天越, 等: 融合强化学习的工业机器人数字孪生仿真方法研究 http: // www.china-simulation.com 2.3 运动行为数据映射 运动行为数据映射 将实体机器人作为 TCP 服务器，Unity 作为 TCP 客户端，向实体机器人提出连接请求，机器 人监听到后建立数据传输通道。通信建立后机器 人控制器按照一定频率采集各轴编码器数值发送 至 Unity 端。在 Unity 编写 C#脚本对接收到的数 据进行解析，并定义虚拟机器人 6 轴的角度变 量，将解析后的各轴角度数值赋值给对应的角度 变量，使虚拟模型实时同步实体机器人的运动 状态。 3 虚控实等级的实现 虚控实等级的实现 在虚拟空间中定义控制指令框架，虚拟模型 接收输入指令，根据规定的控制指令框架在虚拟 空间中实现复杂的运行过程。在虚拟模型完成运 行后，将相应的运行结果，例如，机器人的运动 轨迹等，转化为规定好的格式，将运行结果传输 给实体机器人，实体机器人接收到后，按照规定 的指令进行运行。 本节描述了虚控实等级的实现方法，将原本 只能在示教器中进行的路径规划及相关控制转移 到数字孪生系统中：建立了机器人的D-H坐标系， 以此构建正逆运动学模型；选择专业的数据运算 软件MATLAB作为运动学算法的建立软件，实现 对机器人的路径规划。 3.1 运动学分析与建立 运动学分析与建立 本文使用改进 D-H 参数法建立机器人的运动 学模型 [13]。建立的机器人各个连杆固连坐标系如 图6所示。 图5 数据通信系统架构 Fig. 5 Data communication system architecture 图6 机器人基本结构和D⁃H坐标系 Fig. 6 Basic structure of robot and D⁃H coordinate system • 2975 • 第 36 卷第 12 期 2024 年 12 月 Vol. 36 No. 12 Dec. 2024 系统仿真学报 Journal of System Simulation http: // www.china-simulation.com 查询参数配置得到机器人D-H参数表，如表1 所示。 (1) 正运动学。通过D⁃H参数建立各连杆之间 的变换矩阵： i-1 i T= é ë ê ê ê êêê ê ê ù û ú ú ú úúú ú ú cos θi -sin θi 0 ai-1 sin θi cos αi-1 cos θi cos αi-1 -sin αi-1 -sin αi-1di sin θi sin αi-1 cos θi sin αi-1 cos αi-1 cos αi-1di 0 0 0 1 (1) 由各连杆变换矩阵依次连乘可得机器人末端 坐标系相对于基坐标系的正运动学方程为 0 6T = 0 1T × 1 2T × 2 3T × 3 4T × 4 5T × 5 6T = é ë ê ê ê êêê ê ê ê ê ù û ú ú ú úúú ú ú ú ú nx ox qx px ny oy qy py nz oz qz pz 0 0 0 1 (2) 式中：[nxnynz ]Τ、[oxoyoz ]Τ、[qxqyqz ]Τ 为末端 坐标系相对基坐标系的位姿；[pxpypz ]Τ为末端坐 标系相对基坐标系的位置。 (2) 逆运动学。已知D⁃H参数和末端坐标系的 位置姿态，对正运动学方程逆向计算求解，可以 得到机器人在某一位置时的各轴角度。由图 6 所 示的机器人 D⁃H 坐标系可知，本文使用的 ER3A- C60 机器人后 3 个关节轴线相交于一点，满足 Pieper准则。因此，本文使用Pieper算法求解机器 人的逆运动学，将求解分为前3轴和后3轴，求解 过程如下 [14]： 1) 后3轴的关节坐标系相交于一点，假设后3 轴的关节坐标系的原点位于该点，则该点的坐标 可以