基于数字孪生驱动的机械臂强化学习控制平台及构建方法

    公开(公告)号:CN119388426A

    公开(公告)日:2025-02-07

    申请号:CN202411625445.9

    申请日:2024-11-14

    Abstract: 本发明公开了基于数字孪生驱动的机械臂强化学习控制平台及构建方法,平台具备虚控实、实控虚和训练优化三大模块。首先通过虚控实功能,数字实体模型控制实体机械臂,实现实时控制;实控虚功能则通过实体机械臂的传感数据反馈,实时更新数字实体模型的关节角度、速度等状态,使虚拟模型与物理模型保持同步。此外平台通过优化训练模块,在数字实体模型中进行强化学习训练,训练后的模型可放入实体模型中进行测试,最终形成完整的优化训练策略,提升其运行效率和精度。该平台支持3D仿真和动态数据更新,实现机械臂的高保真数字孪生,可广泛应用于工业自动化、远程控制、智能制造等领域,能提高控制效率、优化操作流程,提升机械臂作业的安全性与稳定性。

    一种用于带式输送机拆卸机器人的建模方法

    公开(公告)号:CN117621053A

    公开(公告)日:2024-03-01

    申请号:CN202311493261.7

    申请日:2023-11-09

    Abstract: 本发明公开了一种用于带式输送机拆卸机器人的建模方法,包括针对带式输送机拆卸任务进行拆卸流程设计;对机械臂对其进行DH参数法运动学建模;对带式输送机中纵梁拆卸工序进行运动学建模;计算H架与机械臂推挤时的倾覆条件;对双机械臂拆卸H架工序进行运动学建模;将其应用于机械臂运动规划中,可准确地描述和预测带式输送机在拆卸过程中的各个部分的运动轨迹和位置,有助于规划和执行拆卸任务,确保操作的准确性和安全性,并且可以实现多个机器人之间的协作配合,通过建模和分析多方之间的通信、协作策略以及任务分配和协调方法,可以优化拆卸过程的效率和准确性,实现机器人协作和智能控制。

    一种面向稀疏奖励的深度强化学习机械臂抓取方法

    公开(公告)号:CN118493388B

    公开(公告)日:2025-03-11

    申请号:CN202410677163.7

    申请日:2024-05-29

    Abstract: 本发明公开了一种面向稀疏奖励的深度强化学习机械臂抓取方法,包括首先分析机械臂抓取任务特点,将其建模为马尔可夫决策问题,设计二元稀疏奖励,减少奖励函数设计的复杂度,降低设计成本;其次,以DDPG算法为主体深度强化学习训练算法框架,搭建Actor‑Critic结构网络,对连续状态动作空间进行处理;然后,设计事后经验回放机制,使用G‑HGG算法进行辅助目标生成,使用预训练动作网络进行动作筛选并加入探索噪声与能量函数对累积经验池进行处理,增强经验利用率,提高训练效率与抓取成功率;最后,搭建机械臂模型与场景信息,利用交互数据进行优化训练,实现机械臂目标抓取,本方法能够解决稀疏奖励下机械臂的抓取学习问题。

    一种用于工业机器人的数字孪生数字实体建模方法

    公开(公告)号:CN119077736A

    公开(公告)日:2024-12-06

    申请号:CN202411350590.0

    申请日:2024-09-26

    Abstract: 本发明公开了一种用于工业机器人的数字孪生数字实体建模方法,包括获取机械臂的物理实体实时运行数据与期望的关节角度,并对这些数据进行预处理,确保输入数据的有效性和一致性;基于预处理后的数据,构建机械臂的深度学习模型;将深度学习模型与3D几何模型相结合,在Unity平台上构建机械臂的数字实体模型;在机械臂运行过程中,实时更新数字实体模型的数据,并对模型进行动态调整和自我完善;本发明的数字孪生建模方法能够实现对工业机器人的模拟和实时优化,适用于工业自动化、智能制造等领域,具有广泛的应用前景,能够提高作业效率和安全性,同时优化机器人之间的协作配合。

    一种用于带式输送机拆卸机器人的多臂路径规划方法

    公开(公告)号:CN117021101A

    公开(公告)日:2023-11-10

    申请号:CN202311074271.7

    申请日:2023-08-24

    Abstract: 本发明公开了一种用于带式输送机拆卸机器人的多臂路径规划方法:用于解决带式输送机拆卸机器人的手臂在拆卸任务中的路径规划问题,包括对带式输送机拆卸任务进行运动学模型建立;对传统RRT算法进行改进,在传统RRT算法的节点更新过程中引入节点权重函数来引导探索过程中新节点的生成,改善路径规划过程中的避障能力和探索无方向性,有效减少无效采样点;本方法使用关节空间内的机械臂关节角度组来表示机械臂位置信息,将其应用于引入改进后的RRT算法中,避免了逆运动学求解的繁琐运算,提高了规划效率;最后提出主被动双树拓展方法,主机械臂使用路径规划算法进行主动探索,从机械臂来被动验证,探索过程和验证过程同时进行,实现了多臂协同运动。

    一种面向稀疏奖励的深度强化学习机械臂抓取方法

    公开(公告)号:CN118493388A

    公开(公告)日:2024-08-16

    申请号:CN202410677163.7

    申请日:2024-05-29

    Abstract: 本发明公开了一种面向稀疏奖励的深度强化学习机械臂抓取方法,包括首先分析机械臂抓取任务特点,将其建模为马尔可夫决策问题,设计二元稀疏奖励,减少奖励函数设计的复杂度,降低设计成本;其次,以DDPG算法为主体深度强化学习训练算法框架,搭建Actor‑Critic结构网络,对连续状态动作空间进行处理;然后,设计事后经验回放机制,使用G‑HGG算法进行辅助目标生成,使用预训练动作网络进行动作筛选并加入探索噪声与能量函数对累积经验池进行处理,增强经验利用率,提高训练效率与抓取成功率;最后,搭建机械臂模型与场景信息,利用交互数据进行优化训练,实现机械臂目标抓取,本方法能够解决稀疏奖励下机械臂的抓取学习问题。

    一种用于带式输送机拆卸机器人的建模方法

    公开(公告)号:CN117621053B

    公开(公告)日:2024-05-31

    申请号:CN202311493261.7

    申请日:2023-11-09

    Abstract: 本发明公开了一种用于带式输送机拆卸机器人的建模方法,包括针对带式输送机拆卸任务进行拆卸流程设计;对机械臂对其进行DH参数法运动学建模;对带式输送机中纵梁拆卸工序进行运动学建模;计算H架与机械臂推挤时的倾覆条件;对双机械臂拆卸H架工序进行运动学建模;将其应用于机械臂运动规划中,可准确地描述和预测带式输送机在拆卸过程中的各个部分的运动轨迹和位置,有助于规划和执行拆卸任务,确保操作的准确性和安全性,并且可以实现多个机器人之间的协作配合,通过建模和分析多方之间的通信、协作策略以及任务分配和协调方法,可以优化拆卸过程的效率和准确性,实现机器人协作和智能控制。

    一种用于带式输送机拆卸机器人的多臂路径规划方法

    公开(公告)号:CN117021101B

    公开(公告)日:2024-03-19

    申请号:CN202311074271.7

    申请日:2023-08-24

    Abstract: 本发明公开了一种用于带式输送机拆卸机器人的多臂路径规划方法:用于解决带式输送机拆卸机器人的手臂在拆卸任务中的路径规划问题,包括对带式输送机拆卸任务进行运动学模型建立;对传统RRT算法进行改进,在传统RRT算法的节点更新过程中引入节点权重函数来引导探索过程中新节点的生成,改善路径规划过程中的避障能力和探索无方向性,有效减少无效采样点;本方法使用关节空间内的机械臂关节角度组来表示机械臂位置信息,将其应用于引入改进后的RRT算法中,避免了逆运动学求解的繁琐运算,提高了规划效率;最后提出主被动双树拓展方法,主机械臂使用路径规划算法进行主动探索,从机械臂来被动验证,探索过程和验证过程同时进行,实现了多臂协同运动。

    一种基于Q学习的双时间尺度燃煤发电系统最优跟踪控制方法

    公开(公告)号:CN115933410B

    公开(公告)日:2023-07-07

    申请号:CN202310024334.1

    申请日:2023-01-09

    Abstract: 本发明公开了一种基于Q学习的双时间尺度燃煤发电系统最优跟踪控制方法,包括:将燃煤发电系统建模为双时间尺度系统;将燃煤发电最优跟踪控制问题转化为降阶增广误差系统的调节问题;引入连续单调有界奇函数,将不对称输入约束在控制范围的中值附近进行对称转换;设计不加额外惩罚项的性能指标函数,将约束控制问题转变为无约束控制问题;根据从原始燃煤发电系统采样获取的信息更新状态‑动作值函数,提出Q学习算法,利用单个评价神经网络近似Q函数,通过最小二乘法更新神经网络权值,运用策略梯度下降法设计自适应降阶控制器。本发明通过利用奇异摄动理论和系统运行数据解决了燃煤发电系统优化控制中的难以精确建模、非对称输入约束等难题。

    一种基于Q学习的双时间尺度燃煤发电系统最优跟踪控制方法

    公开(公告)号:CN115933410A

    公开(公告)日:2023-04-07

    申请号:CN202310024334.1

    申请日:2023-01-09

    Abstract: 本发明公开了一种基于Q学习的双时间尺度燃煤发电系统最优跟踪控制方法,包括:将燃煤发电系统建模为双时间尺度系统;将燃煤发电最优跟踪控制问题转化为降阶增广误差系统的调节问题;引入连续单调有界奇函数,将不对称输入约束在控制范围的中值附近进行对称转换;设计不加额外惩罚项的性能指标函数,将约束控制问题转变为无约束控制问题;根据从原始燃煤发电系统采样获取的信息更新状态‑动作值函数,提出Q学习算法,利用单个评价神经网络近似Q函数,通过最小二乘法更新神经网络权值,运用策略梯度下降法设计自适应降阶控制器。本发明通过利用奇异摄动理论和系统运行数据解决了燃煤发电系统优化控制中的难以精确建模、非对称输入约束等难题。

Patent Agency Ranking