【研究】云制造环境下工业机器人远程监控系统设计与实现

微信扫码，打开到小程序

系统仿真学报 系统仿真学报© Journal of System Simulation 第 35 卷第 2 期 2023 年 2 月 Vol. 35 No. 2 Feb. 2023 云制造环境下工业机器人远程监控系统设计与实现 云制造环境下工业机器人远程监控系统设计与实现 刘永奎 1，张霖 2，刘迎福 3，冯坚勇 4，于博 1，牛文博 1 (1. 西安电子科技大学 机电工程学院，陕西 西安 710071；2. 北京航空航天大学 自动化科学与电气工程学院，北京 100191； 3. 工业云制造(四川)创新中心有限公司，四川 成都 610000；4. 宁波帅特龙集团有限公司，浙江 宁波 315157) 摘要 摘要：考虑到当前针对云制造监控系统的研究比较缺乏，以及已有远程监控系统可扩展性和灵活 性不足等问题，以基于深度强化学习的工业机器人智能抓取为应用场景，设计和开发了一个基于 微服务架构的面向云制造的远程监控系统，对监控系统进行了需求分析和系统设计，实现了对工 业机器人智能抓取过程的远程监控。测试表明系统能够满足云制造中资源提供者、平台运营者和 服务使用者三类用户对工业机器人的监控需求。 关键词 关键词：云制造；远程监控；智能抓取；微服务；工业机器人 中图分类号：TP311 文献标志码：A 文章编号：1004-731X(2023)02-0318-12 DOI: 10.16182/j.issn1004731x.joss.21-1015 引用格式 引用格式: 刘永奎, 张霖, 刘迎福, 等. 云制造环境下工业机器人远程监控系统设计与实现[J]. 系统仿真学报, 2023, 35 (2): 318-329. Reference format: Liu Yongkui, Zhang Lin, Liu Yingfu, et al. Design and Implementation of Industrial Robot Remote Monitoring System in Cloud Manufacturing[J]. Journal of System Simulation, 2023, 35(2): 318-329. Design and Implementation of Industrial Robot Remote Monitoring System in Cloud Manufacturing Liu Yongkui1, Zhang Lin2, Liu Yingfu3, Feng Jianyong4, Yu Bo1, Niu Wenbo1 (1. School of Mechano-Electronic Engineering, Xidian University, Xi'an 710071, China; 2. School of Automation Science and Electrical Engineering, Beihang University, Beijing 100191, China; 3. Industrial Cloud Manufacturing (Sichuan) Innovation Center Co. Ltd, Chengdu 610000, China; 4. Ningbo Shuaitelong Group Co. Ltd, Ningbo 315157, China) Abstract: Considering the lack of the existing research on cloud manufacturing monitoring system and the lack of scalability and flexibility of existing remote monitoring system, and taking deep reinforcement learning-based industrial robot intelligent grasping as an application scenario, a micro-service architecture-based remote monitoring system for cloud manufacturing is developed, to carry out the requirement analysis and design of the monitoring system, and the remote monitoring of industrial robot intelligent grasping processes is realized. Test results show that the system can meet the monitoring requirements of resource providers, platform operator(s) and service consumers. Keywords: cloud manufacturing; remote monitoring; intelligent grasping; micro-service; industrial robot 0 引言 引言 云制造的概念由李伯虎院士带领的团队提出， 并在航天科工率先进行大量实践 [1]。在不断发展的 制造业需求和新兴技术的驱动下，云制造的概念、 内涵、技术和应用不断升级和完善 [2]。云制造将分 布在不同地域的制造资源和制造能力通过物联网、 虚拟化和服务化等技术手段接入到云制造平台中， 收稿日期：2021-09-30 修回日期：2021-12-25 基金项目：国家自然科学基金(61973243)；宁波科技局科技创新2025重大专项(2019B10081) 第一作者：刘永奎(1981-)，男，副教授，博士，研究方向为云制造、制造系统智能调度与优化、工业机器人学习及智能。 E-mail：yongkuiliu@163.com 第 35 卷第 2 期 2023 年 2 月 Vol. 35 No. 2 Feb. 2023 刘永奎, 等: 云制造环境下工业机器人远程监控系统设计与实现 http: // www.china-simulation.com 形成虚拟的制造资源和制造能力云池，再通过智 能化的管理和经营，最终实现根据用户个性化需 求向用户提供各类制造资源和制造能力服务 [3]。 云制造概念自提出以来引起了国内外学者的 广泛关注和研究。其中，云制造中的典型特征、 关键技术和体系架构等 [4]方面的研究经过不断完善 和扩展，已经相对成熟。在云制造应用方面，已 有研究主要集中在云制造资源服务组合和调度方 面 [5-6]，并且已经有基于服务关联 [7]、接口关联 [8]和 业务关联等模式的服务模型及解决方案 [9]。然而， 目前还缺乏对云制造中其他关键环节和不同工业 场 景 应 用 的 研 究 [10]， 如 具 体 的 云 制 造 过 程 监 控等 [11]。 远程监控系统大都采用机器人控制器-智能网 络节点-服务器-客户端的架构来解决系统与设备 的数据通信难题 [12]。然而，上述远程监控系统主 要针对单一场景和任务进行设计和开发，在软件 适用性、可扩展性、灵活性 [13]等方面还有待提升。 此外，云制造环境对制造设备远程监控系统 [14]提 出了更高的要求，包括更高的网络传输质量 [15]、 更高的灵活性 [16]、更高的可扩展性 [17]、更强的稳 定性，以及更好的适用性 [18]等。 针对上述问题，本文以云制造环境下工业机 器人智能抓取为应用场景 [19]，基于最新的微服务 架构，设计和开发了一个远程监控系统，实现了 对工业机器人智能抓取过程的监控。 1 工业机器人智能抓取 工业机器人智能抓取 1.1 应用场景介绍 应用场景介绍 随着工业机器人智能化程度的增加，工业机 器人对工件的智能抓取将会成为工业生产中的一 种典型应用，如分拣、辅助装配等。实现对工业 机器人智能抓取过程的远程监控，如获取工业机 器人和工件实时位姿数据等，有助于及时发现抓 取过程中存在的问题，如抓取过程中定位不准、 效率低下甚至损坏工件等，并进行在线训练优化 和精准反馈控制等。 本节为云制造环境下的工业机器人远程监控 提供一个典型的智能应用场景。 1.2 算法分析和应用 算法分析和应用 强化学习是从环境状态映射到动作的学习， 用来解决序列决策问题。核心思想是智能体在与 环境交互的过程中获得最大累计奖励以完成学习 目标的最优决策。 1.2.1 马尔可夫决策过程 马尔可夫决策过程 使 用 马 尔 可 夫 决 策 过 程 (Markov decision process, MDP)对强化学习问题进行建模和研究， 并用四元组(S，A，R，P) 表示马尔可夫决策过程 中的变量 [20]。本文对机器人的智能抓取过程进行 马尔可夫决策过程的数学建模，机器人状态空间 为 S，抓取动作空间为 A，奖励函数为 R，状态转 移概率为P，以及动作执行策略为π。 在马尔可夫决策动态过程中，策略∏：S→A 实现状态到动作的映射，是智能体选择动作的依 据。强化学习的目标就是学习一种策略，使得智 能体在这种策略下选择的动作获得的累积回报最 大，这个策略称为最优策略π*。 1.2.2 DQN智能抓取算法的设计 智能抓取算法的设计 云制造环境下工业机器人的抓取环境通常是 高维的，深度 Q 网络(deep Q network, DQN)算法 以深度神经网络为载体，以交互试错方式不断获 取Q(s a)值，该Q(s a)值是机器人状态-动作对奖 励之和的估计函数。最优策略是选择回报最大化 的动作执行。DQN 算法利用 TD-error 不断迭代 Q(s a) 实 现 网 络 参 数 的 更 新 ， 同 时 逼 近 最 优 策略π*: Q(st at )¬ Q(st at )+ α[r + γ maxat + 1Q(st + 1 at + 1 )- Q(st at )] (1) 式中： st 为智能体所处的环境状态；at 为智能体 在环境状态st下选取的动作；α为神经网络的学习 率；γ 为折扣奖励因子；r 为智能体由 st 状态下执 • 319 • 第 35 卷第 2 期 2023 年 2 月 Vol. 35 No. 2 Feb. 2023 系统仿真学报 Journal of System Simulation http: // www.china-simulation.com 行动作at到达st + 1状态后获得的奖惩信息。 由于 DQN 算法更新网络的依据是 TD-error， 即 TD-error 大的样本反向传播更新的梯度更大， 因此，该机制根据每个样本的|TD-error|大小来排 序，更加频繁地回放这些高偏差的样本。定义采 样概率： P( j)= Dα j ∑ k Dα k (2) 式中：Dj 为 transition j 的优先级，均大于 0；α 为 超参数，α=0时采用均匀采样，α=1时采用贪婪策 略采样。 Dj = | δj| + ε or 1 rank( j) (3) 采取重要性采样来减小引入P( j)产生的偏差： wj = 1 sβP( j)β (4) 式中：s为样本总数；β为一个超参数。 Q网络更新变为 Loss = 1 k∑ i wiδi 2 (5) 式中：Loss为更新网络的反向误差；k为抽取的样 本总数；wi 为样本重要性的权重；δi 为一个样本 的误差。 1.2.3 DQN智能抓取算法的实现 智能抓取算法的实现 针对云制造环境的机器人智能抓取过程，网 络模型的核心思想是通过深度神经网络对每个时 刻下状态-动作对(s a)的值函数 Q 近似，进而预 测每个状态下的最大值函数 Q(s)，将其对应的像 素点映射在三维坐标中，建立视觉信息到动作输 出的最优策略π*。具体实现过程如下： (1) 网络模型搭建 对于机器人智能抓取而言，设计的模型需要得 到每个像素点精确的三维坐标。因此，本文选用全 卷积神经网络(fully convolutional networks，FCN) 进行网络搭建。 (2) 视觉输入 预处理好的RGB图像和深度图像分别表示了 工作台上所有状态信息的表面特征以及高度特征， 再将其输入神经网络，利用网络的卷积特性能够 有效提取出目标物体的特征。 (3) 奖励函数与损失函数的设置 奖励设置采用稀疏的奖励。当操作成功后， 给予奖励 1；否则，奖励为 0。算法实现过程中， 通过每次执行抓取动作后目标物体的z坐标变换来 判断抓取是否成功。神经网络的损失函数使用 Huber损失函数： Li = ì í î ï ïïï ï ï ï ïïï ï ï 1 2 (Qθi (si ai ) - yi θ-i ))2 for | |Qθi (si ai ) - yi θ-i <1 | |Qθi (si ai ) - yi θ-i - 1 2  otherwise (6) 式中：θi 为第 i 次迭代时评估 Q 值网络的参数； θ - i 为目标 Q 值网络的参数。当经过前向传播计算 出最大Q值对应的像素点p，并执行动作后，反向 传播时，只通过像素点 p 的损失函数进行反向传 播，更新对应网络的参数。其他像素点在反向传 播时默认损失函数为0。 1.2.4 网络模型训练 网络模型训练 本文的训练仿真环境为在 Win10 系统中部署 Python3 环 境 并 使 用 Pytorch 框 架 ， 同 时 安 装 CUDA和cuDNN，实现GPU加速运算；仿真场景 采用 V-REP 仿真平台进行搭建，导入 Dobot 机器 人模型、工件模型，并配置相机以获取多角度的 仿真画面和实时图像信息。基于DQN的机器人智 能抓取算法训练框架如图1所示。 图1 算法训练框架 Fig. 1 Algorithms train frame diagrams • 320 • 第 35 卷第 2 期 2023 年 2 月 Vol. 35 No. 2 Feb. 2023 刘永奎, 等: 云制造环境下工业机器人远程监控系统设计与实现 http: // www.china-simulation.com 2 系统需求分析 系统需求分析 2.1 系统概述 系统概述 2.1.1 实现目标 实现目标 在机器人智能抓取过程中，由于机器人机载 设备容量有限、可搭载模块有限、工作环境复杂 导致机器人自身的处理能力难以有效应对实际抓 取过程中的一些特殊情况。云制造环境的特殊性 给工业机器人远程监控系统带来了新的挑战。 针对上述问题，本文对云制造工业机器人远 程监控系统的开发提出以下实现目标： (1) 能够满足不同用户的监控需求，并根据角 色合理分配功能权限； (2) 支持不同语言智能算法的灵活部署与远程 调用； (3) 能够对机器人进行远程视频监控，获取到 机器人的实时工作画面，并在前端界面进行展示； (4) 能够与物理机器人进行双向数据交互，并 且操作人员能够通过监控系统对机器人抓取过程 进行远程控制。 2.1.2 角色分析 角色分析 云制造中的角色主要包括平台运营者、资源 提供者和服务使用者。 平台运营者：拥有系统管理的最大权限，能对 系统中的其他用户角色进行相应监控权限的分配。 资源提供者：拥有对机器人的最大监控权限， 能远程获取机器人的实时工况。 服务使用者：享有系统分配的相应监控权限， 能通过系统获取到机器人智能抓取过程的实时工况。 2.2 功能性需求分析 功能性需求分析 工业机器人智能监控系统实现的主要功能性 需求包括用户管理、在线训练、视频监控，以及 数据监控。 2.2.1 用户管理 用户管理 角色用户管理功能需求包括用户控制和角色 控制，其中平台运营者可以对用户和角色进行基 本的设置，包括添加、编辑、查询和删除等。此 外，平台运营者还可以对系统中的用户和系统设 置的 3 类角色进行权限分配。资源提供者和服务 使用者可以通过账户信息登录和退出系统。 2.2.2 在线训练 在线训练 在线训练是本系统的核心功能之一，旨在使 资源提供者能够基于部署的智能算法对工业机器 人进行远程训练，以获得更好的神经网络模型并 适应不同场景。 2.2.3 视频监控 视频监控 对制造现场的工业机器人抓取过程进行实时 监控是本系统的核心功能之一。系统用户能够通 过远程监控系统获取到机器人工作的实时画面。 2.2.4 数据监控 数据监控 数据监控是本系统的核心功能之一，旨在使 资源提供者(工业机器人的所有者和使用者)能够通 过远程监控系统对制造过程中的机器人进行远程 控制，并获取机器人的实时工作数据。 2.3 非功能性需求分析 非功能性需求分析 相对于一般制造设备监控，云制造对远程监 控提出了更高的要求。 (1) 更高的稳定性：保证远程系统各项服务的 负载均衡以及远程监控系统上线运行的稳定性。 (2) 更高的可靠性：云制造环境下的智能抓取 过程对数据有更高的要求，包括实际工作数据的 真实性、海量数据的有效性、数据传输过程中的 可靠性等。因此，系统对数据传输和处理有更高 的要求。 (3) 更高的实时性：远程监控系统的许多功能 模块必须收集机器人工作状态下的实时数据才有 意义，因此，需要传输速率高、网络带宽高的通 信方式和网络。 (4) 可扩展性和适用性：云制造环境包含大量 的生产制造服务，系统需要具有更高的扩展性和 • 321 • 第 35 卷第 2 期 2023 年 2 月 Vol. 35 No. 2 Feb. 2023 系统仿真学报 Journal of System Simulation http: // www.china-simulation.com 适用性，来适应不同的云制造场景。 (5) 可维护性：不同功能模块需要经历多次不 同程度的版本迭代，因此，对监控系统的可维护 性提出了更高的要求。 3 系统设计与实现 系统设计与实现 3.1 整体逻辑结构 整体逻辑结构 系统采用前后端分离的方式进行开发，前端 采用 Vue 作为开发框架，后端采用 Spring Boot 作 为核心框架，整合 MyBatis-Plus 进行逻辑开发。 系统整体开发采用模型-视图-控制器(MVC)分层 设计思想，将系统分为 4 个层级，分别为数据访 问 对 象 层 (data access object, DAO)、 业 务 层 (Service)、控制层(Controller)和表示层(View)，如 图2所示。 DAO层负责数据持久化，与数据库连接的一 些任务都封装在这层。DAO层的设计需要先设计 接口，然后定义接口的实现类，最后在模块中调