-
公开(公告)号:CN112184763B
公开(公告)日:2024-09-10
申请号:CN202010939522.3
申请日:2020-09-09
Applicant: 南京师范大学镇江创新发展研究院 , 南京师范大学
Abstract: 本发明提供了一种机器人视觉导航中视觉里程计构建方法,包括:提取图像特征点;获取物体边界框的位置;判断提取到的特征点是否在检测得到的物体边界框内,若不是,则剔除特征点;若在物体边界框内,则通过光流跟踪物体边界框内的特征点,并通过光流极线法进行动态点的判断,若物体边界框内动态点数目大于阈值,则认为该物体边界框内物体是运动的,将其中所有特征点剔除。若未超过阈值,则认为该物体边界框内物体是静止的,物体边界框内的特征点是有效特征点。根据有效特征点估算相机运动轨迹,恢复出相机旋转和平移运动,估计出相机位姿,完成视觉里程计的构建。本发明解决了动态环境下位姿估计的不准确问题,提高了定位精度。
-
公开(公告)号:CN111563452B
公开(公告)日:2023-04-21
申请号:CN202010371935.6
申请日:2020-05-06
Applicant: 南京师范大学镇江创新发展研究院 , 南京师范大学
IPC: G06V40/16 , G06V40/10 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种基于实例分割的多人体姿态检测及状态判别方法,包括:采集课堂视频的原始分帧图像;分割出学生个体和非学生个体,以不同颜色的掩码标注不同学生个体,同时进行姿态检测,提取出各学生人体姿态的关键点,并进行标注连接;对学生的听课状态进行具体判别,对学生脸部进行识别和定位,判断所有学生个体是否能检测到正面人脸,如果能,则初步说明该同学处于听课状态,并判断该同学是否处于举手状态;如果无法检测出人脸,则进一步判断其是否处于不听课状态。结合每个学生个体听课状态对学生听课效率进行评估。本发明为实现学生听课状态的判别与分析提供解决方法,具有可实时识别,识别精度高,抗复杂环境干扰性强等优点。
-
公开(公告)号:CN111563452A
公开(公告)日:2020-08-21
申请号:CN202010371935.6
申请日:2020-05-06
Applicant: 南京师范大学镇江创新发展研究院 , 南京师范大学
Abstract: 本发明提供了一种基于实例分割的多人体姿态检测及状态判别方法,包括:采集课堂视频的原始分帧图像;分割出学生个体和非学生个体,以不同颜色的掩码标注不同学生个体,同时进行姿态检测,提取出各学生人体姿态的关键点,并进行标注连接;对学生的听课状态进行具体判别,对学生脸部进行识别和定位,判断所有学生个体是否能检测到正面人脸,如果能,则初步说明该同学处于听课状态,并判断该同学是否处于举手状态;如果无法检测出人脸,则进一步判断其是否处于不听课状态。结合每个学生个体听课状态对学生听课效率进行评估。本发明为实现学生听课状态的判别与分析提供解决方法,具有可实时识别,识别精度高,抗复杂环境干扰性强等优点。
-
公开(公告)号:CN112184763A
公开(公告)日:2021-01-05
申请号:CN202010939522.3
申请日:2020-09-09
Applicant: 南京师范大学镇江创新发展研究院 , 南京师范大学
Abstract: 本发明提供了一种机器人视觉导航中视觉里程计构建方法,包括:提取图像特征点;获取物体边界框的位置;判断提取到的特征点是否在检测得到的物体边界框内,若不是,则剔除特征点;若在物体边界框内,则通过光流跟踪物体边界框内的特征点,并通过光流极线法进行动态点的判断,若物体边界框内动态点数目大于阈值,则认为该物体边界框内物体是运动的,将其中所有特征点剔除。若未超过阈值,则认为该物体边界框内物体是静止的,物体边界框内的特征点是有效特征点。根据有效特征点估算相机运动轨迹,恢复出相机旋转和平移运动,估计出相机位姿,完成视觉里程计的构建。本发明解决了动态环境下位姿估计的不准确问题,提高了定位精度。
-
公开(公告)号:CN111951302A
公开(公告)日:2020-11-17
申请号:CN202010806224.7
申请日:2020-08-12
Applicant: 南京师范大学
Abstract: 本发明公开了一种基于特征匹配的机器人视觉定位方法,包括如下步骤:采集并保存机器人运动场景的彩色图像,将机器人运动场景的彩色图像进行预处理,获得裁剪并减去均值的图像序列数据;计算所有彩色图像的特征值;机器人在设定的运动空间内,将使用单目相机拍摄的照片作为查询图像,将需要查询的图像裁剪并减去步骤S1的查询图像均值,计算查询图像的特征值;将查询图像的特征值与彩色图像的特征值相比较,找出距离最相近的两幅图像及其空间坐标,得到此时机器人的空间位置。本发明在仅使用图像定位中,避免提取人工设计的特征点,极大的降低硬件成本,极大的减轻了工作量、提高了分析精度。
-
公开(公告)号:CN110006444B
公开(公告)日:2020-09-22
申请号:CN201910215637.5
申请日:2019-03-21
Applicant: 南京师范大学 , 南京智能高端装备产业研究院有限公司
Abstract: 本发明公开了一种基于优化混合高斯模型的抗干扰视觉里程计构建方法,包括:读取采集连续视频帧序列图像,进行灰度化处理;对图像进行相似度判定,若结果为相似度较小则舍弃,直至判定结果为相似度较大;提取前n1帧相邻帧灰度图像中的特征点;对每个特征点建立混合高斯模型;利用混合高斯模型进行目标检测,得到有效特征点;将有效特征点作为初始数据,获得有效特征点在当前帧序列灰度图像中的位置坐标,获取后续帧灰度图像的有效特征点;将获得的相邻灰度图像间的有效特征点组成有效特征点对,估算相机的位置与运动轨迹;循环上述步骤,重新获取有效特征点并进行运动估计,直到所有的序列帧图像处理完毕,完成视觉里程计的构建。
-
公开(公告)号:CN111368637A
公开(公告)日:2020-07-03
申请号:CN202010084190.5
申请日:2020-02-10
Applicant: 南京师范大学 , 南京智能高端装备产业研究院有限公司
Abstract: 本发明提供了一种基于多掩模卷积神经网络的搬运机器人识别目标方法,包括:搭建多掩模卷积神经网络,并确定网络结构;选择网络优化器,使用PASCAL VOC数据集作为多掩模卷积神经网络的训练数据集,经过多掩模卷积神经网络模型充分训练,得到训练好的多掩模卷积神经网络;搬运机器人通过摄像头采集视频文件,然后将采集的视频文件逐帧转换为彩色图像,并对彩色图像统一尺寸大小;搬运机器人利用训练好的多掩模卷积神经网络对彩色图像中出现的目标生成目标的坐标位置和目标类别,同时生成实例掩模,从而完成目标的识别。本发明具有识别速度快、识别准确率高的优点。
-
公开(公告)号:CN110263836A
公开(公告)日:2019-09-20
申请号:CN201910510060.0
申请日:2019-06-13
Applicant: 南京师范大学 , 南京智能高端装备产业研究院有限公司
Abstract: 本发明公开了一种基于多特征卷积神经网络的不良驾驶状态识别方法,包括:采集车载智能手机惯性传感器数据,进行预处理,得到源数据集;将源数据集划分成一个个的数据单元,对每一个数据单元进行统计学特征提取,并打上标签制成数据集,命名为特征数据集;搭建多特征卷积神经网络,选择合适的网络参数与优化器,并使用源数据集与特征数据集对多特征卷积神经网络进行充分训练,得到训练好的多特征卷积神经网络模型;使用训练好的多特征卷积神经网络模型对车载手机惯性传感器数据进行分类,从而实现对汽车当前驾驶状态的识别,判断汽车当前驾驶状态是否为不良驾驶状态,并在后台进行数据记录与处理。本发明具有运算速度快、识别率高、抗环境干扰能力强的优点。
-
公开(公告)号:CN112232240B
公开(公告)日:2024-08-27
申请号:CN202011129588.2
申请日:2020-10-21
Applicant: 南京师范大学
IPC: G06V20/40 , G06V20/52 , G06V10/25 , G06V10/44 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于优化交并比函数的道路抛洒物检测与识别方法,包括如下步骤:搭建基于优化交并比函数的道路抛洒物检测与识别模型;采集道路交通监控视频并进行分帧处理生成道路抛洒物数据集,对训练集图像进行标注,生成标签文件;将训练集全部图像和标签文件输入道路抛洒物检测与识别模型中进行训练,得到训练好的模型;将测试集图像输入训练好的道路抛洒物检测与识别模型进行检测识别,输出对于道路抛洒物的检测识别结果。本发明能够在复杂道路交通背景下对道路抛洒物进行检测和识别,能够输出道路抛洒物位置信息、类别信息以及大致形状特征,对于小目标有较好的检测识别效果,检测速度快、识别精度高。
-
公开(公告)号:CN111951303A
公开(公告)日:2020-11-17
申请号:CN202010806613.X
申请日:2020-08-12
Applicant: 南京师范大学
Abstract: 本发明公开了一种机器人运动姿态视觉估计方法。涉及机器人与机器视觉的技术领域,包括:采集动态环境中的连续视频图像,选取其中两张采集的图像,检测关键点,计算关键点特征值,检测并保存特征点位置;对原始图像进行分割,获取并保存图像中动态物体所在像素区域的位置;对比保存特征点信息的图像和保存分割结果的图像,剔除保存特征点信息的图像中分布在动态物体所在像素区域的位置的特征点;使用剔除优化后剩余的特征点在相邻图像间进行特征匹配,计算在相邻图像间机器人的位姿运动,输出机器人运动位姿估计。本发明具有位姿估计准确率高、计算量小、抗背景环境干扰能力强的优点。
-
-
-
-
-
-
-
-
-