基于视觉语言大模型的机器人操纵方法

    公开(公告)号:CN118559711A

    公开(公告)日:2024-08-30

    申请号:CN202410784930.4

    申请日:2024-06-18

    IPC分类号: B25J9/16

    摘要: 基于视觉语言大模型的机器人操纵方法,本发明涉及人工智能和具身智能领域,具体涉及基于视觉语言大模型的机器人操纵方法。本发明的目的是为了解决现有机器人理解指令及视觉环境后执行的操纵任务完成准确率低的问题。过程为:将语言指令文本和深度相机捕获的RGBD图像输入视觉语言大模型;视觉语言大模型的PC机输出三维位置坐标、三维旋转位姿和机械爪的开闭状态;视觉语言大模型机械臂上Jetson Nano端通过ROS接收三维位置坐标、三维旋转位姿和机械爪的开闭状态;对接收到的三维位置坐标、三维旋转位姿和机械爪的开闭状态信息进行逆运动学解算,将解算后的各关节角度输入舵机,对舵机进行PID控制完成机械臂的动作。

    一种无人系统的轨迹规划评价系统

    公开(公告)号:CN117606485A

    公开(公告)日:2024-02-27

    申请号:CN202311625367.8

    申请日:2023-11-30

    IPC分类号: G01C21/20 G01C25/00 G01S17/06

    摘要: 一种无人系统的轨迹规划评价系统,本发明涉及无人系统的轨迹规划评价系统。本发明为了解决现有轨迹规划方法在复杂多变的环境、传感器故障、模型不完备等情况下,导致规划的轨迹未考虑效率和资源利用,浪费时间和能源,降低了无人系统的效益的问题。系统包括:定位感知模块用于对无人系统、障碍物进行定位,获得无人系统、障碍物的位置坐标;轨迹规划模块用于根据无人系统、障碍物的位置坐标获取无人系统的规划轨迹,对无人系统的规划轨迹进行优化,获得最优的规划轨迹,将最优的规划轨迹传输给跟踪控制模块;跟踪控制模块用于按照最优的规划轨迹命令跟踪控制器对无人系统进行控制,完成无人系统路径规划。本发明用于无人系统的轨迹规划领域。

    一种基于深度强化学习和TSK-FS模糊推理的机器人抓取方法及系统

    公开(公告)号:CN117260739A

    公开(公告)日:2023-12-22

    申请号:CN202311479282.3

    申请日:2023-11-08

    IPC分类号: B25J9/16 B25J13/00

    摘要: 一种基于深度强化学习和TSK‑FS模糊推理的机器人抓取方法及系统,它属于机器人视觉定位抓取技术领域。本发明解决了现有物体抓取方法无法获得最优行为指导策略且抓取效率低的问题。本发明在深度强化学习模型的行为策略训练阶段加入Gauss噪声值,可以使机械臂有机会探索到更为广泛的动作空间,进而获得最优的行为指导策略。同时本发明的模糊推理利用了与决策动作直接相关的最优推动动作价值、最优抓取动作价值、目标物体边缘物体占有率和连续抓取失败次数信息,使得决策结果综合考虑了推动动作的需求,可以根据当前工作场景中的状态信息进行推抓动作自主决策,有效提高了目标物体的抓取效率。本发明方法可以应用于对机器人的抓取任务进行控制。

    一种基于区间II型模糊神经网络的高超音速飞行器指定性能量化跟踪控制方法

    公开(公告)号:CN111007724A

    公开(公告)日:2020-04-14

    申请号:CN201911320091.6

    申请日:2019-12-19

    IPC分类号: G05B13/04

    摘要: 一种基于区间II型模糊神经网络的高超音速飞行器指定性能量化跟踪控制方法,涉及领域。本发明是为了设计高超音速飞行器的高度和速度的跟踪控制律、使高超音速飞行器的飞行速度和高度的跟踪误差满足指定性能要求的目的。本发明利用高超音速飞行器动态系统当前时刻的状态变量和参考输入变量构造当前时刻的跟踪误差变量,利用区间II型模糊神经网络估计高超音速飞行器动态系统的复杂不确定项的估计值,设计未知参数的估计值,分别设计燃料当量比的控制律、鸭翼偏转角的控制律和升降舵偏转角的控制律,根据设计后的燃料当量比的控制律、鸭翼偏转角的控制律和升降舵偏转角的控制律完成对高超音速飞行器的跟踪控制。

    一种非线性系统的稳定性评估及不确定性边界估计方法

    公开(公告)号:CN116736717A

    公开(公告)日:2023-09-12

    申请号:CN202310801095.6

    申请日:2023-07-03

    IPC分类号: G05B13/04

    摘要: 本发明涉及非线性系统控制领域,更具体地说是一种非线性系统的稳定性评估及不确定性边界估计方法;步骤一:计算标称非线性控制系统在均衡点处的Jacobi矩阵,并依此描绘出闭环系统在均衡点的一阶Taylor展开形式,得到其高阶余项的数学描述以及系统在均衡点附近局部稳定的隐含状态约束;步骤二:根据系统状态构造Lyapunov函数V(x)=xTPx,求其导数,得到满足均衡点附近局部稳定性的可行解P;步骤三:考虑局部状态有界性约束和/或其他物理约束影响,通过求解最优凸规划问题得到理想的最大次水平集参数c*,得到椭球V(x)≤c*为最大的吸引域内近似估计。

    一种基于二型椭球型模糊神经网络的机械臂有限时间跟踪控制方法

    公开(公告)号:CN115185187B

    公开(公告)日:2023-06-20

    申请号:CN202210981267.8

    申请日:2022-08-16

    IPC分类号: G05B13/04

    摘要: 一种基于二型椭球型模糊神经网络的机械臂有限时间跟踪控制方法,它属于工业机械臂控制领域。本发明解决了由于来自操作环境和机械臂自身造成的系统不确定性,导致采用现有方法难以实现对机械臂的高精度控制的问题。本发明方法采取的技术方案为:步骤一、建立考虑系统不确定性的机械臂动力学模型;步骤二、采用区间二型椭球型模糊神经网络对系统不确定性进行估计,得到估计结果;步骤三、设计预定时间内收敛的非奇异终端滑模面;步骤四、基于估计结果和非奇异终端滑模面进行跟踪控制器的设计。本发明方法可以应用于对工业机械臂的控制。

    一种基于滑模观测器的三相有源前端功率变换器控制方法

    公开(公告)号:CN113794392A

    公开(公告)日:2021-12-14

    申请号:CN202111098096.6

    申请日:2021-09-18

    IPC分类号: H02M7/219 H02J3/46

    摘要: 一种基于滑模观测器的三相有源前端功率变换器控制方法,属于电力电子控制技术领域。解决了现有三相有源前端功率变换器控制过程中存在响应速度慢、鲁棒性能差的问题。本发明基于三相电网的输出电压、输出电流和占空比控制信号,建立三相有源前端功率变换器的动态数学模型;根据动态数学模型确定三相有源前端功率变换器的控制目标变量及参考值;采用电压环和电流环分别对三相有源前端功率变换器直流输出电压和电网交流电流进行控制,使直流输出电压和电网交流电流分别趋近于对应的参考值,实现三相有源前端功率变换器的控制。本发明适用于三相有源前端功率变换器的控制。