-
公开(公告)号:CN119360308B
公开(公告)日:2025-04-08
申请号:CN202411886731.0
申请日:2024-12-20
IPC: G06V20/52 , G08B7/06 , G06V20/64 , G06V40/20 , G06V10/44 , G06V10/80 , G06V10/764 , G06V10/766 , G06V10/82 , G06T7/73 , G06N3/0464 , G06N3/042 , G06N3/045 , G06N3/0442 , B25J9/16 , G06N3/048
Abstract: 本发明公开了基于卷积神经网络的人‑机器人交互安全检测方法及系统,所述方法包括以下步骤:采集人‑机器人交互环境的RGB‑D图像及机器人关节位置;使用关节点检测算法从所述RGB‑D图像中提取人体关节点序列,使用人体模型重建网络提取用户体态参数;构建基于卷积神经网络的安全检测网络,所述安全检测网络接收输入的人体关节点序列、体态参数及机器人关节位置,实时输出交互过程中人和机器人之间的距离和接触状态,检测是否发生碰撞或存在潜在碰撞危险;响应发生碰撞或存在潜在碰撞危险,发送对应警示信息或发送对应操作指令至机器人。本发明可提高人机交互环境中的安全检测准确率,并保障安全检测的实时性。
-
公开(公告)号:CN118744425A
公开(公告)日:2024-10-08
申请号:CN202410873458.1
申请日:2024-07-01
Applicant: 青岛理工大学
Abstract: 本发明公开了一种基于多模态大模型的工业机器人装配方法与系统,所述装配方法包括以下步骤:接收用户语音指令;识别语音指令及对应的语音特征,转换为文本信息输入大语言模型中;大语言模型收到输入文本后,经过自定义的prompt结构,生成视觉语言模型的交互代码;机器人使用成像装置获取场景信息,融合视觉语言模型与交互代码,还原当前场景物体的外观及空间位置,生成价值地图;根据装配任务的需求,对机器人的末端执行器执行姿态调节任务;将价值地图作输入运动规划器,生成机器人的空间移动路径;机器人沿空间移动路径移动到目标位置,执行装配任务。本发明减少了数据收集和处理的成本和时间,并提高装配工作的效率和准确性。
-
公开(公告)号:CN112288750B
公开(公告)日:2022-09-20
申请号:CN202011310983.0
申请日:2020-11-20
Applicant: 青岛理工大学
Abstract: 本发明涉及一种基于深度学习网络的机械装配体图像分割方法,包括以下步骤:通过深度学习网络构建由编码器网络和解码器网络组成的机械装配体轻量化语义分割模型;建立机械装配体数据集;将机械装配体数据集中的深度图像输入到编码器网络中进行特征提取,获取高信息质量的特征图;将高信息质量的特征图输入至解码器网络中,恢复图像大小并进行特征融合,得到多维分割图;根据多维分割图与对应的标签图像之间的误差,更新编码器网络中的参数;利用训练集中的深度图像,迭代执行上述步骤,直到达到预设的训练次数;测试后输出机械装配体轻量化语义分割模型;利用训练好的机械装配体轻量化语义分割模型进行图像分割,分割出机械装配体的各零件。
-
公开(公告)号:CN118514070A
公开(公告)日:2024-08-20
申请号:CN202410604931.6
申请日:2024-05-15
Applicant: 青岛理工大学 , 内蒙古科技大学 , 迈赫机器人自动化股份有限公司 , 北京科技大学
Abstract: 本发明涉及一种面向人‑机器人协作的肌电臂环标定方法、系统、设备及介质,其中方法包括以下步骤:将MYO肌电臂环佩戴于机器人末端执行器上;通过MYO肌电臂环的IMU传感单元获取初始四元数,并将初始四元数转换为欧拉角数据;控制机器人末端执行器放置于工作空间中的多个随机位姿,在每个随机位姿读取机器人末端执行器以及MYO肌电臂环的欧拉角数据;基于每个随机位姿读取机器人末端执行器以及MYO肌电臂环的欧拉角数据计算从肌电臂环坐标系到机器人基坐标系的转换矩阵;基于转换矩阵标定MYO肌电臂环的工作空间标定至机器人基坐标系。
-
公开(公告)号:CN112801977B
公开(公告)日:2022-11-22
申请号:CN202110117860.3
申请日:2021-01-28
Applicant: 青岛理工大学
Abstract: 本发明涉及一种基于深度学习的装配体零件相对位姿估计监测方法,包括以下步骤:通过摄像机拍摄目标装配体不同角度的图像,并通过采集的图像建立样本数据集;通过深度学习网络对样本数据集进行特征提取和3D关键点检测,获取装配体中各零件的3D关键点集;根据采集的图像进行语义分割,区分图像中不同零件;根据各零件的3D关键点集和点云数据集,利用最小二乘拟合算法得出各零件在相机坐标系下的位姿预测值;选取一零件作为参考系零件,以参考系零件的几何中心为原点建立世界坐标系,并计算参考系零件在相机坐标系下的位姿真实值;分别计算各其他零件与参考系零件的相对位姿关系,所述相对位姿关系包括空间几何距离、相对旋转矩阵和相对角度。
-
公开(公告)号:CN110238831B
公开(公告)日:2020-09-18
申请号:CN201910665326.9
申请日:2019-07-23
Applicant: 青岛理工大学
Abstract: 本发明涉及基于RGB‑D图像及示教器的机器人示教系统,包括RGB‑D相机、上位机、姿态示教器和AR示教系统,AR示教系统包括AR注册卡和增强现实模块、包含机器人末端执行器的虚拟机器人模型、路径规划单元和姿态示教单元,RGB‑D相机实时采集物理工作环境的RGB图像和深度图像,在路径规划单元中选择机器人末端执行器的路径点,计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标;姿态示教单元将接收到的姿态数据作为当前运动所在路径点的姿态,并根据路径点的位置和姿态驱动虚拟机器人模型运动,完成示教。本发明不需复杂的位姿跟踪系统,且物理机器人不参与示教,通过增强现实仿真完成示教编程。
-
公开(公告)号:CN111283664A
公开(公告)日:2020-06-16
申请号:CN202010211070.7
申请日:2020-03-24
Applicant: 青岛理工大学
Abstract: 本发明涉及一种面向机器人增强现实示教的注册系统:包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机;物理机器人单元其包括物理机器人、物理机器人控制器和机器人点位间歇运动控制程序;所述物理机器人自设置有物理机器人基坐标系;所述物理机器人控制器分别与所述物理机器人和计算机连接;所述机器人点位间歇运动控制程序安装于所述计算机中;注册单元包括注册标识物、相机和转换计算单元;所述注册标识物设置在物理机器人本体上;所述相机固定安装在物理机器人以外的物理环境中;所述相机连接所述计算机,所述转换计算单元设置于所述计算机中;所述虚拟机器人生成单元设置于所述计算机中,用于生成虚拟机器人模型。
-
公开(公告)号:CN115922746B
公开(公告)日:2025-05-02
申请号:CN202211594626.0
申请日:2022-12-13
Applicant: 青岛理工大学
Abstract: 本发明涉及智能制造技术领域的一种工业机器人轴孔装配系统及主动柔顺控制方法,系统包括包括计算机、工业机器人、六维力/力矩传感器、轴类零件、传感器数据采集盒,所述计算机上运行基于联合强化学习的工业机器人轴孔装配网络模型,输出阻抗参数以控制机器人装配力与机器人末端运动之间的动态变化关系,并采用分段策略动态优化阻抗控制器的参数,实现轴孔装配插入阶段的柔顺控制。
-
公开(公告)号:CN119360308A
公开(公告)日:2025-01-24
申请号:CN202411886731.0
申请日:2024-12-20
IPC: G06V20/52 , G08B7/06 , G06V20/64 , G06V40/20 , G06V10/44 , G06V10/80 , G06V10/764 , G06V10/766 , G06V10/82 , G06T7/73 , G06N3/0464 , G06N3/042 , G06N3/045 , G06N3/0442 , B25J9/16 , G06N3/048
Abstract: 本发明公开了基于卷积神经网络的人‑机器人交互安全检测方法及系统,所述方法包括以下步骤:采集人‑机器人交互环境的RGB‑D图像及机器人关节位置;使用关节点检测算法从所述RGB‑D图像中提取人体关节点序列,使用人体模型重建网络提取用户体态参数;构建基于卷积神经网络的安全检测网络,所述安全检测网络接收输入的人体关节点序列、体态参数及机器人关节位置,实时输出交互过程中人和机器人之间的距离和接触状态,检测是否发生碰撞或存在潜在碰撞危险;响应发生碰撞或存在潜在碰撞危险,发送对应警示信息或发送对应操作指令至机器人。本发明可提高人机交互环境中的安全检测准确率,并保障安全检测的实时性。
-
公开(公告)号:CN118528255A
公开(公告)日:2024-08-23
申请号:CN202410578925.8
申请日:2024-05-11
Applicant: 青岛理工大学 , 内蒙古科技大学 , 迈赫机器人自动化股份有限公司 , 北京科技大学
IPC: B25J9/16
Abstract: 本发明公开了一种基于引导示教强化学习的机器人轴孔装配方法及系统,所述方法包括以下步骤:机器人采用强化学习方法进行装配操作,人类专家佩戴肌电臂环监测装配过程与进度;控制中心实时接收sEMG信号并与设定的阈值比对,sEMG信号不小于设定的阈值时,控制机器人采用引导示教方法执行装配任务,sEMG信号低于设定的阈值时,控制机器人采用强化学习方法执行装配任务;控制中心将引导示教与强化学习两种方法的决策过程和输出集成至统一的装配技能框架中,所述装配技能框架根据输入的参数选择执行强化学习方法或是引导示教方法。本发明对控制中心进行引导示教,可有效降低强化学习的训练成本,使机器人具有更好的调整适应能力。
-
-
-
-
-
-
-
-
-