公开(公告)号：CN110866939A

公开(公告)日：2020-03-06

申请号：CN201910988218.5

申请日：2019-10-17

申请人： 南京师范大学 ,  南京智能高端装备产业研究院有限公司

发明人： 谢非 ,  王鼎 ,  杨继全 ,  刘文慧 ,  章悦 ,  吴沛林 ,  梅一剑 ,  刘益剑 ,  沈世斌 ,  沈舒雨

IPC分类号： G06T7/246 ,  G06T7/269

摘要： 本发明提供了基于相机位姿估计和深度学习的机器人运动状态识别方法，包括：步骤1，采集连续视频帧序列图像并进行预处理，提取每一帧图像的加速稳健特征点，进行加速稳健特征点的匹配，并对匹配的加速稳健特征点对进行筛选；步骤2，分析提取的加速稳健特征点，并依据随机抽样一致算法，排除的离群值，计算出每一个时间段内相机的欧式变化矩阵；步骤3，把相机的欧式变化矩阵的变化转化为经时间修正过的运动描述向量，再把经时间修正过的运动描述向量转化为运动描述矩阵；步骤4，构建卷积神经网络，把运动描述矩阵和动作标签矩阵作为输入训练，得到运动预测模型；步骤5，利用运动预测模型实时判断机器人运动状态。

公开(公告)号：CN110866939B

公开(公告)日：2022-03-22

申请号：CN201910988218.5

申请日：2019-10-17

申请人： 南京师范大学 ,  南京智能高端装备产业研究院有限公司

发明人： 谢非 ,  王鼎 ,  杨继全 ,  刘文慧 ,  章悦 ,  吴沛林 ,  梅一剑 ,  刘益剑 ,  沈世斌 ,  沈舒雨

IPC分类号： G06T7/246 ,  G06T7/269

摘要： 本发明提供了基于相机位姿估计和深度学习的机器人运动状态识别方法，包括：步骤1，采集连续视频帧序列图像并进行预处理，提取每一帧图像的加速稳健特征点，进行加速稳健特征点的匹配，并对匹配的加速稳健特征点对进行筛选；步骤2，分析提取的加速稳健特征点，并依据随机抽样一致算法，排除的离群值，计算出每一个时间段内相机的欧式变化矩阵；步骤3，把相机的欧式变化矩阵的变化转化为经时间修正过的运动描述向量，再把经时间修正过的运动描述向量转化为运动描述矩阵；步骤4，构建卷积神经网络，把运动描述矩阵和动作标签矩阵作为输入训练，得到运动预测模型；步骤5，利用运动预测模型实时判断机器人运动状态。

公开(公告)号：CN110263663A

公开(公告)日：2019-09-20

申请号：CN201910455869.8

申请日：2019-05-29

申请人： 南京师范大学 ,  南京智能高端装备产业研究院有限公司

发明人： 谢非 ,  吴沛林 ,  王鼎 ,  刘文慧 ,  汪璠 ,  杨继全 ,  韩嘉宁 ,  光蔚然 ,  刘益剑 ,  郭钊利

IPC分类号： G06K9/00

摘要： 本发明公开了一种基于多维面部特征的驾驶员多级疲劳度识别方法，包括：步骤1：采集连续视频帧序列图像，判断是否有人脸在图像中。如果检测出有人脸在图像区域，则将人脸部分图像单独截取出来作为人脸检测图像转到下一步进行处理；否则读取下一帧图像重新进行判断。步骤2：提取人脸特征点，并记录每一个特征点在图像中的位置坐标。步骤3：计算多维面部特征；步骤4、对面部状态做出判断，面部状态包括：是否在打瞌睡、是否在打哈欠、是否在低头和是否在转头。步骤5、融合多维面部特征和面部状态，计算K帧内疲劳度评估值，根据疲劳度评估值将疲劳度识别为正常、轻度疲劳、中度疲劳和重度疲劳四个等级，完成驾驶员多级疲劳度识别功能。

公开(公告)号：CN110909716A

公开(公告)日：2020-03-24

申请号：CN201911244639.3

申请日：2019-12-06

申请人： 南京师范大学

发明人： 韩嘉宁 ,  谢非 ,  王鼎 ,  吴沛林 ,  汪璠 ,  吴启宇 ,  吴奕之 ,  陆飞

IPC分类号： G06K9/00

摘要： 本申请公开了一种基于睡眠监测的控制方法、电子装置和存储介质。电子装置用于检测疲劳驾驶，控制方法用于电子装置，控制方法包括：获取驾驶员的睡眠数据；在睡眠数据满足预设条件的情况下，获取驾驶员当前的驾驶图像；根据驾驶图像确定驾驶员的疲劳值。如此，在驾驶员的睡眠数据满足预设条件的情况下，才获取驾驶员当前的驾驶图像，并根据驾驶图像确定驾驶员的疲劳值。这样不必在每次驾驶的过程中，都不断地获取驾驶图像并对驾驶图像进行处理和分析，可以降低资源占用并节约能耗。