-
公开(公告)号:CN112184763A
公开(公告)日:2021-01-05
申请号:CN202010939522.3
申请日:2020-09-09
Applicant: 南京师范大学镇江创新发展研究院 , 南京师范大学
Abstract: 本发明提供了一种机器人视觉导航中视觉里程计构建方法,包括:提取图像特征点;获取物体边界框的位置;判断提取到的特征点是否在检测得到的物体边界框内,若不是,则剔除特征点;若在物体边界框内,则通过光流跟踪物体边界框内的特征点,并通过光流极线法进行动态点的判断,若物体边界框内动态点数目大于阈值,则认为该物体边界框内物体是运动的,将其中所有特征点剔除。若未超过阈值,则认为该物体边界框内物体是静止的,物体边界框内的特征点是有效特征点。根据有效特征点估算相机运动轨迹,恢复出相机旋转和平移运动,估计出相机位姿,完成视觉里程计的构建。本发明解决了动态环境下位姿估计的不准确问题,提高了定位精度。
-
公开(公告)号:CN112184763B
公开(公告)日:2024-09-10
申请号:CN202010939522.3
申请日:2020-09-09
Applicant: 南京师范大学镇江创新发展研究院 , 南京师范大学
Abstract: 本发明提供了一种机器人视觉导航中视觉里程计构建方法,包括:提取图像特征点;获取物体边界框的位置;判断提取到的特征点是否在检测得到的物体边界框内,若不是,则剔除特征点;若在物体边界框内,则通过光流跟踪物体边界框内的特征点,并通过光流极线法进行动态点的判断,若物体边界框内动态点数目大于阈值,则认为该物体边界框内物体是运动的,将其中所有特征点剔除。若未超过阈值,则认为该物体边界框内物体是静止的,物体边界框内的特征点是有效特征点。根据有效特征点估算相机运动轨迹,恢复出相机旋转和平移运动,估计出相机位姿,完成视觉里程计的构建。本发明解决了动态环境下位姿估计的不准确问题,提高了定位精度。
-
公开(公告)号:CN111563452B
公开(公告)日:2023-04-21
申请号:CN202010371935.6
申请日:2020-05-06
Applicant: 南京师范大学镇江创新发展研究院 , 南京师范大学
IPC: G06V40/16 , G06V40/10 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种基于实例分割的多人体姿态检测及状态判别方法,包括:采集课堂视频的原始分帧图像;分割出学生个体和非学生个体,以不同颜色的掩码标注不同学生个体,同时进行姿态检测,提取出各学生人体姿态的关键点,并进行标注连接;对学生的听课状态进行具体判别,对学生脸部进行识别和定位,判断所有学生个体是否能检测到正面人脸,如果能,则初步说明该同学处于听课状态,并判断该同学是否处于举手状态;如果无法检测出人脸,则进一步判断其是否处于不听课状态。结合每个学生个体听课状态对学生听课效率进行评估。本发明为实现学生听课状态的判别与分析提供解决方法,具有可实时识别,识别精度高,抗复杂环境干扰性强等优点。
-
公开(公告)号:CN111563452A
公开(公告)日:2020-08-21
申请号:CN202010371935.6
申请日:2020-05-06
Applicant: 南京师范大学镇江创新发展研究院 , 南京师范大学
Abstract: 本发明提供了一种基于实例分割的多人体姿态检测及状态判别方法,包括:采集课堂视频的原始分帧图像;分割出学生个体和非学生个体,以不同颜色的掩码标注不同学生个体,同时进行姿态检测,提取出各学生人体姿态的关键点,并进行标注连接;对学生的听课状态进行具体判别,对学生脸部进行识别和定位,判断所有学生个体是否能检测到正面人脸,如果能,则初步说明该同学处于听课状态,并判断该同学是否处于举手状态;如果无法检测出人脸,则进一步判断其是否处于不听课状态。结合每个学生个体听课状态对学生听课效率进行评估。本发明为实现学生听课状态的判别与分析提供解决方法,具有可实时识别,识别精度高,抗复杂环境干扰性强等优点。
-
公开(公告)号:CN112232240B
公开(公告)日:2024-08-27
申请号:CN202011129588.2
申请日:2020-10-21
Applicant: 南京师范大学
IPC: G06V20/40 , G06V20/52 , G06V10/25 , G06V10/44 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于优化交并比函数的道路抛洒物检测与识别方法,包括如下步骤:搭建基于优化交并比函数的道路抛洒物检测与识别模型;采集道路交通监控视频并进行分帧处理生成道路抛洒物数据集,对训练集图像进行标注,生成标签文件;将训练集全部图像和标签文件输入道路抛洒物检测与识别模型中进行训练,得到训练好的模型;将测试集图像输入训练好的道路抛洒物检测与识别模型进行检测识别,输出对于道路抛洒物的检测识别结果。本发明能够在复杂道路交通背景下对道路抛洒物进行检测和识别,能够输出道路抛洒物位置信息、类别信息以及大致形状特征,对于小目标有较好的检测识别效果,检测速度快、识别精度高。
-
公开(公告)号:CN111507227B
公开(公告)日:2023-04-18
申请号:CN202010280435.1
申请日:2020-04-10
Applicant: 南京汉韬科技有限公司 , 南京师范大学 , 南京吉仁智能科技有限公司
IPC: G06V40/16 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明提供了基于深度学习的多学生个体分割及状态自主识别方法,包括:采集正常上课视频,进行分帧处理,得到课堂视频的连续帧图像;分割出学生个体和非学生个体,将不学生生个体标记为不同颜色的掩码;通过人脸特征点定位方法找到每个学生个体的人眼特征点,计算每个学生个体的人眼闭合度特征值,判断每个学生个体当前是否处于听课状态;判断所有学生个体是否检测到人脸,判断学生个体的听课状态等级;结合每个学生个体是否处于听课状态及每个学生个体是否处于未抬头状态设计了整个课堂时段学生听课效率评估方法。本发明为实现学生听课状态自主识别及听课效率的判别提供解决方法,具有速度快、识别率高、环境适应能力强的优点。
-
公开(公告)号:CN109509181A
公开(公告)日:2019-03-22
申请号:CN201811267100.5
申请日:2018-10-29
Applicant: 南京师范大学 , 南京智能高端装备产业研究院有限公司
Abstract: 本发明公开了一种基于串行轮廓搜索的熔覆池形状视觉检测方法,该方法利用高速工业相机采集金属三维打印熔覆池视频,从视频中提取单帧熔覆池彩色图像;针对提取的单帧熔覆池彩色图像进行灰度变换、灰度反转及灰度拉伸;利用局部差分算子对均值滤波后的图像进行边缘提取,再进行膨胀与腐蚀处理,保留面积最大的区域,剔除其他区域;最后,对熔覆池区域的二值图像进行串行轮廓搜索,得到熔覆池区域的二值轮廓图像,完成熔覆池形状视觉检测,为金属三维打印过程中熔覆池形貌分析提供依据。
-
公开(公告)号:CN112233130B
公开(公告)日:2024-11-01
申请号:CN202011131085.9
申请日:2020-10-21
Applicant: 南京师范大学
Abstract: 本发明公开了一种基于实例分割的熔覆池形貌识别及闭环控制方法,包括如下步骤:初始化弧焊增材制造输出功率及输出功率变化量;采集弧焊增材制造熔覆池彩色图像;更新弧焊增材制造输出功率;分割出熔覆池彩色图像中的熔覆池,同时生成熔覆池的实例掩码和候选框的像素坐标,完成熔覆池的实例分割;用候选框的像素坐标表示长轴和熔宽像素数大小,计算熔宽像素数变化量,并将生成的输出功率变化量进行反馈;判断当前熔覆池彩色图像是否为最后一帧。本发明方法实时性好、识别精度高,在有熔滴覆盖熔覆池边缘时,也能实现精准检测与识别,验证了算法的有效性和鲁棒性,实现低成本高效率的检测熔覆池形貌,为弧焊增材制造实时评价提供了可靠依据。
-
公开(公告)号:CN111368637A
公开(公告)日:2020-07-03
申请号:CN202010084190.5
申请日:2020-02-10
Applicant: 南京师范大学 , 南京智能高端装备产业研究院有限公司
Abstract: 本发明提供了一种基于多掩模卷积神经网络的搬运机器人识别目标方法,包括:搭建多掩模卷积神经网络,并确定网络结构;选择网络优化器,使用PASCAL VOC数据集作为多掩模卷积神经网络的训练数据集,经过多掩模卷积神经网络模型充分训练,得到训练好的多掩模卷积神经网络;搬运机器人通过摄像头采集视频文件,然后将采集的视频文件逐帧转换为彩色图像,并对彩色图像统一尺寸大小;搬运机器人利用训练好的多掩模卷积神经网络对彩色图像中出现的目标生成目标的坐标位置和目标类别,同时生成实例掩模,从而完成目标的识别。本发明具有识别速度快、识别准确率高的优点。
-
公开(公告)号:CN110263836A
公开(公告)日:2019-09-20
申请号:CN201910510060.0
申请日:2019-06-13
Applicant: 南京师范大学 , 南京智能高端装备产业研究院有限公司
Abstract: 本发明公开了一种基于多特征卷积神经网络的不良驾驶状态识别方法,包括:采集车载智能手机惯性传感器数据,进行预处理,得到源数据集;将源数据集划分成一个个的数据单元,对每一个数据单元进行统计学特征提取,并打上标签制成数据集,命名为特征数据集;搭建多特征卷积神经网络,选择合适的网络参数与优化器,并使用源数据集与特征数据集对多特征卷积神经网络进行充分训练,得到训练好的多特征卷积神经网络模型;使用训练好的多特征卷积神经网络模型对车载手机惯性传感器数据进行分类,从而实现对汽车当前驾驶状态的识别,判断汽车当前驾驶状态是否为不良驾驶状态,并在后台进行数据记录与处理。本发明具有运算速度快、识别率高、抗环境干扰能力强的优点。
-
-
-
-
-
-
-
-
-