一种基于多模态大模型的工业机器人装配方法与系统

    公开(公告)号:CN118744425A

    公开(公告)日:2024-10-08

    申请号:CN202410873458.1

    申请日:2024-07-01

    Abstract: 本发明公开了一种基于多模态大模型的工业机器人装配方法与系统,所述装配方法包括以下步骤:接收用户语音指令;识别语音指令及对应的语音特征,转换为文本信息输入大语言模型中;大语言模型收到输入文本后,经过自定义的prompt结构,生成视觉语言模型的交互代码;机器人使用成像装置获取场景信息,融合视觉语言模型与交互代码,还原当前场景物体的外观及空间位置,生成价值地图;根据装配任务的需求,对机器人的末端执行器执行姿态调节任务;将价值地图作输入运动规划器,生成机器人的空间移动路径;机器人沿空间移动路径移动到目标位置,执行装配任务。本发明减少了数据收集和处理的成本和时间,并提高装配工作的效率和准确性。

    一种基于深度学习网络的机械装配体图像分割方法和设备

    公开(公告)号:CN112288750B

    公开(公告)日:2022-09-20

    申请号:CN202011310983.0

    申请日:2020-11-20

    Abstract: 本发明涉及一种基于深度学习网络的机械装配体图像分割方法,包括以下步骤:通过深度学习网络构建由编码器网络和解码器网络组成的机械装配体轻量化语义分割模型;建立机械装配体数据集;将机械装配体数据集中的深度图像输入到编码器网络中进行特征提取,获取高信息质量的特征图;将高信息质量的特征图输入至解码器网络中,恢复图像大小并进行特征融合,得到多维分割图;根据多维分割图与对应的标签图像之间的误差,更新编码器网络中的参数;利用训练集中的深度图像,迭代执行上述步骤,直到达到预设的训练次数;测试后输出机械装配体轻量化语义分割模型;利用训练好的机械装配体轻量化语义分割模型进行图像分割,分割出机械装配体的各零件。

    一种基于深度学习的装配体零件相对位姿估计监测方法

    公开(公告)号:CN112801977B

    公开(公告)日:2022-11-22

    申请号:CN202110117860.3

    申请日:2021-01-28

    Abstract: 本发明涉及一种基于深度学习的装配体零件相对位姿估计监测方法,包括以下步骤:通过摄像机拍摄目标装配体不同角度的图像,并通过采集的图像建立样本数据集;通过深度学习网络对样本数据集进行特征提取和3D关键点检测,获取装配体中各零件的3D关键点集;根据采集的图像进行语义分割,区分图像中不同零件;根据各零件的3D关键点集和点云数据集,利用最小二乘拟合算法得出各零件在相机坐标系下的位姿预测值;选取一零件作为参考系零件,以参考系零件的几何中心为原点建立世界坐标系,并计算参考系零件在相机坐标系下的位姿真实值;分别计算各其他零件与参考系零件的相对位姿关系,所述相对位姿关系包括空间几何距离、相对旋转矩阵和相对角度。

    基于RGB-D图像及示教器的机器人示教系统及方法

    公开(公告)号:CN110238831B

    公开(公告)日:2020-09-18

    申请号:CN201910665326.9

    申请日:2019-07-23

    Abstract: 本发明涉及基于RGB‑D图像及示教器的机器人示教系统,包括RGB‑D相机、上位机、姿态示教器和AR示教系统,AR示教系统包括AR注册卡和增强现实模块、包含机器人末端执行器的虚拟机器人模型、路径规划单元和姿态示教单元,RGB‑D相机实时采集物理工作环境的RGB图像和深度图像,在路径规划单元中选择机器人末端执行器的路径点,计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标;姿态示教单元将接收到的姿态数据作为当前运动所在路径点的姿态,并根据路径点的位置和姿态驱动虚拟机器人模型运动,完成示教。本发明不需复杂的位姿跟踪系统,且物理机器人不参与示教,通过增强现实仿真完成示教编程。

    一种面向机器人增强现实示教的注册系统和方法

    公开(公告)号:CN111283664A

    公开(公告)日:2020-06-16

    申请号:CN202010211070.7

    申请日:2020-03-24

    Abstract: 本发明涉及一种面向机器人增强现实示教的注册系统:包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机;物理机器人单元其包括物理机器人、物理机器人控制器和机器人点位间歇运动控制程序;所述物理机器人自设置有物理机器人基坐标系;所述物理机器人控制器分别与所述物理机器人和计算机连接;所述机器人点位间歇运动控制程序安装于所述计算机中;注册单元包括注册标识物、相机和转换计算单元;所述注册标识物设置在物理机器人本体上;所述相机固定安装在物理机器人以外的物理环境中;所述相机连接所述计算机,所述转换计算单元设置于所述计算机中;所述虚拟机器人生成单元设置于所述计算机中,用于生成虚拟机器人模型。

    一种工业机器人轴孔装配系统及主动柔顺控制方法

    公开(公告)号:CN115922746B

    公开(公告)日:2025-05-02

    申请号:CN202211594626.0

    申请日:2022-12-13

    Abstract: 本发明涉及智能制造技术领域的一种工业机器人轴孔装配系统及主动柔顺控制方法,系统包括包括计算机、工业机器人、六维力/力矩传感器、轴类零件、传感器数据采集盒,所述计算机上运行基于联合强化学习的工业机器人轴孔装配网络模型,输出阻抗参数以控制机器人装配力与机器人末端运动之间的动态变化关系,并采用分段策略动态优化阻抗控制器的参数,实现轴孔装配插入阶段的柔顺控制。

Patent Agency Ranking