-
公开(公告)号:CN111368637B
公开(公告)日:2023-08-11
申请号:CN202010084190.5
申请日:2020-02-10
申请人: 南京师范大学 , 南京智能高端装备产业研究院有限公司
IPC分类号: G06V20/10 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
摘要: 本发明提供了一种基于多掩模卷积神经网络的搬运机器人识别目标方法,包括:搭建多掩模卷积神经网络,并确定网络结构;选择网络优化器,使用PASCAL VOC数据集作为多掩模卷积神经网络的训练数据集,经过多掩模卷积神经网络模型充分训练,得到训练好的多掩模卷积神经网络;搬运机器人通过摄像头采集视频文件,然后将采集的视频文件逐帧转换为彩色图像,并对彩色图像统一尺寸大小;搬运机器人利用训练好的多掩模卷积神经网络对彩色图像中出现的目标生成目标的坐标位置和目标类别,同时生成实例掩模,从而完成目标的识别。本发明具有识别速度快、识别准确率高的优点。
-
公开(公告)号:CN111275634B
公开(公告)日:2023-04-28
申请号:CN202010031333.6
申请日:2020-01-13
申请人: 南京师范大学 , 南京智能高端装备产业研究院有限公司
摘要: 本发明公开了一种熔池形貌检测及弧焊机器人控制方法,包括:采集弧焊增材制造熔覆池视频,提取单帧彩色图像,进行灰度变换和噪声滤波;进行掩膜修补,剔除金属液滴区域部分,去除图像多余的部分,利用天牛须搜索自适应阈值算法的边缘检测,进行阈值分割和灰度增强,从而达到对图像进行去噪和增强;通过像素遍历搜寻出熔覆池圆心,再进行区域图像分割、镜像对称和组合,拟合出椭圆,通过圆心遍历出长轴和短轴,对长轴和短轴像素数大小进行计算,判断长轴和短轴的变化量,进而控制弧焊机器人是否继续打印,再根据当前图像是否为最后一帧来决定是否结束循环,进而实现本方法,为弧焊增材制造打印质量提供低成本、高效率的检测分析与控制方法。
-
公开(公告)号:CN110866939A
公开(公告)日:2020-03-06
申请号:CN201910988218.5
申请日:2019-10-17
申请人: 南京师范大学 , 南京智能高端装备产业研究院有限公司
摘要: 本发明提供了基于相机位姿估计和深度学习的机器人运动状态识别方法,包括:步骤1,采集连续视频帧序列图像并进行预处理,提取每一帧图像的加速稳健特征点,进行加速稳健特征点的匹配,并对匹配的加速稳健特征点对进行筛选;步骤2,分析提取的加速稳健特征点,并依据随机抽样一致算法,排除的离群值,计算出每一个时间段内相机的欧式变化矩阵;步骤3,把相机的欧式变化矩阵的变化转化为经时间修正过的运动描述向量,再把经时间修正过的运动描述向量转化为运动描述矩阵;步骤4,构建卷积神经网络,把运动描述矩阵和动作标签矩阵作为输入训练,得到运动预测模型;步骤5,利用运动预测模型实时判断机器人运动状态。
-
公开(公告)号:CN110866939B
公开(公告)日:2022-03-22
申请号:CN201910988218.5
申请日:2019-10-17
申请人: 南京师范大学 , 南京智能高端装备产业研究院有限公司
摘要: 本发明提供了基于相机位姿估计和深度学习的机器人运动状态识别方法,包括:步骤1,采集连续视频帧序列图像并进行预处理,提取每一帧图像的加速稳健特征点,进行加速稳健特征点的匹配,并对匹配的加速稳健特征点对进行筛选;步骤2,分析提取的加速稳健特征点,并依据随机抽样一致算法,排除的离群值,计算出每一个时间段内相机的欧式变化矩阵;步骤3,把相机的欧式变化矩阵的变化转化为经时间修正过的运动描述向量,再把经时间修正过的运动描述向量转化为运动描述矩阵;步骤4,构建卷积神经网络,把运动描述矩阵和动作标签矩阵作为输入训练,得到运动预测模型;步骤5,利用运动预测模型实时判断机器人运动状态。
-
公开(公告)号:CN111368637A
公开(公告)日:2020-07-03
申请号:CN202010084190.5
申请日:2020-02-10
申请人: 南京师范大学 , 南京智能高端装备产业研究院有限公司
摘要: 本发明提供了一种基于多掩模卷积神经网络的搬运机器人识别目标方法,包括:搭建多掩模卷积神经网络,并确定网络结构;选择网络优化器,使用PASCAL VOC数据集作为多掩模卷积神经网络的训练数据集,经过多掩模卷积神经网络模型充分训练,得到训练好的多掩模卷积神经网络;搬运机器人通过摄像头采集视频文件,然后将采集的视频文件逐帧转换为彩色图像,并对彩色图像统一尺寸大小;搬运机器人利用训练好的多掩模卷积神经网络对彩色图像中出现的目标生成目标的坐标位置和目标类别,同时生成实例掩模,从而完成目标的识别。本发明具有识别速度快、识别准确率高的优点。
-
公开(公告)号:CN110263836A
公开(公告)日:2019-09-20
申请号:CN201910510060.0
申请日:2019-06-13
申请人: 南京师范大学 , 南京智能高端装备产业研究院有限公司
摘要: 本发明公开了一种基于多特征卷积神经网络的不良驾驶状态识别方法,包括:采集车载智能手机惯性传感器数据,进行预处理,得到源数据集;将源数据集划分成一个个的数据单元,对每一个数据单元进行统计学特征提取,并打上标签制成数据集,命名为特征数据集;搭建多特征卷积神经网络,选择合适的网络参数与优化器,并使用源数据集与特征数据集对多特征卷积神经网络进行充分训练,得到训练好的多特征卷积神经网络模型;使用训练好的多特征卷积神经网络模型对车载手机惯性传感器数据进行分类,从而实现对汽车当前驾驶状态的识别,判断汽车当前驾驶状态是否为不良驾驶状态,并在后台进行数据记录与处理。本发明具有运算速度快、识别率高、抗环境干扰能力强的优点。
-
公开(公告)号:CN110263836B
公开(公告)日:2021-02-19
申请号:CN201910510060.0
申请日:2019-06-13
申请人: 南京师范大学 , 南京智能高端装备产业研究院有限公司
摘要: 本发明公开了一种基于多特征卷积神经网络的不良驾驶状态识别方法,包括:采集车载智能手机惯性传感器数据,进行预处理,得到源数据集;将源数据集划分成一个个的数据单元,对每一个数据单元进行统计学特征提取,并打上标签制成数据集,命名为特征数据集;搭建多特征卷积神经网络,选择合适的网络参数与优化器,并使用源数据集与特征数据集对多特征卷积神经网络进行充分训练,得到训练好的多特征卷积神经网络模型;使用训练好的多特征卷积神经网络模型对车载手机惯性传感器数据进行分类,从而实现对汽车当前驾驶状态的识别,判断汽车当前驾驶状态是否为不良驾驶状态,并在后台进行数据记录与处理。本发明具有运算速度快、识别率高、抗环境干扰能力强的优点。
-
公开(公告)号:CN111460941A
公开(公告)日:2020-07-28
申请号:CN202010206651.1
申请日:2020-03-23
申请人: 南京智能高端装备产业研究院有限公司 , 南京师范大学
摘要: 本发明提供了一种穿戴式导航装备中视觉导航特征点提取与匹配方法,包括:读取两帧原始图像,构建图像的高斯-拉普拉斯金字塔,生成高斯-拉普拉斯差分尺度空间;进行特征点检测,将局部极值点作为特征点提取出来;计算出特征点的方向;基于BRIEF算子生成特征点的描述符,对每个点对进行二进制赋值,形成一个二进制编码;基于前一步生成的描述子对两张图像进行特征点的匹配,测量前一帧图中的每一个特征点与后一帧图像中所有特征点的相似程度,将相似程度最大的匹配成一对;重复上一步匹配操作,直到两帧图像中的所有特征点匹配完成,这些匹配好的特征点对为视觉导航提供大量的基础信息,提高导航定位结果的稳定性、环境适应性及抗干扰性能。
-
公开(公告)号:CN111460941B
公开(公告)日:2023-06-09
申请号:CN202010206651.1
申请日:2020-03-23
申请人: 南京智能高端装备产业研究院有限公司 , 南京师范大学
摘要: 本发明提供了一种穿戴式导航装备中视觉导航特征点提取与匹配方法,包括:读取两帧原始图像,构建图像的高斯‑拉普拉斯金字塔,生成高斯‑拉普拉斯差分尺度空间;进行特征点检测,将局部极值点作为特征点提取出来;计算出特征点的方向;基于BRIEF算子生成特征点的描述符,对每个点对进行二进制赋值,形成一个二进制编码;基于前一步生成的描述子对两张图像进行特征点的匹配,测量前一帧图中的每一个特征点与后一帧图像中所有特征点的相似程度,将相似程度最大的匹配成一对;重复上一步匹配操作,直到两帧图像中的所有特征点匹配完成,这些匹配好的特征点对为视觉导航提供大量的基础信息,提高导航定位结果的稳定性、环境适应性及抗干扰性能。
-
公开(公告)号:CN111275634A
公开(公告)日:2020-06-12
申请号:CN202010031333.6
申请日:2020-01-13
申请人: 南京师范大学 , 南京智能高端装备产业研究院有限公司
摘要: 本发明公开了一种熔池形貌检测及弧焊机器人控制方法,包括:采集弧焊增材制造熔覆池视频,提取单帧彩色图像,进行灰度变换和噪声滤波;进行掩膜修补,剔除金属液滴区域部分,去除图像多余的部分,利用天牛须搜索自适应阈值算法的边缘检测,进行阈值分割和灰度增强,从而达到对图像进行去噪和增强;通过像素遍历搜寻出熔覆池圆心,再进行区域图像分割、镜像对称和组合,拟合出椭圆,通过圆心遍历出长轴和短轴,对长轴和短轴像素数大小进行计算,判断长轴和短轴的变化量,进而控制弧焊机器人是否继续打印,再根据当前图像是否为最后一帧来决定是否结束循环,进而实现本方法,为弧焊增材制造打印质量提供低成本、高效率的检测分析与控制方法。
-
-
-
-
-
-
-
-
-