一种单目机器人上的目标人发现与跟随方法

    公开(公告)号:CN107230219B

    公开(公告)日:2021-06-04

    申请号:CN201710309607.1

    申请日:2017-05-04

    申请人: 复旦大学

    IPC分类号: G06T7/246

    摘要: 本发明属于计算机图像处理技术领域,具体为一种单目机器人上的目标人发现与跟随方法。本发明步骤包括:机器人同时定位和建图,运动帧与运动区域检测,在运动帧的运动区域进行视觉目标检测,视觉目标人追踪,视觉目标人跟随。本发明利用机器人移动过程中的场景变化检测来分析需要进行目标检测的区域,利用深度网络进行室内人的检测,利用视觉追踪算法对目标进行追踪,并控制机器人进行主动跟随。本发明基于对象视觉特征,结合机器人同时定位和见图过程对场景的估计,能够对室内目标人进行有效的发现和跟随。本发明能够在多样的图像和复杂的背景下,在室内场景对目标人进行有效的发现、追踪与跟随。

    一种多模态的学生课堂行为分析系统和方法

    公开(公告)号:CN108090857B

    公开(公告)日:2021-06-22

    申请号:CN201711469436.5

    申请日:2017-12-29

    申请人: 复旦大学

    IPC分类号: G06Q50/20 G09B5/14 G10L25/51

    摘要: 本发明属于计算机技术领域,具体为一种多模态的学生课堂行为分析系统和方法。本发明系统包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块;学生注意力检测模块检测学生的专注率,教师授课内容检测模块检测教师的授课内容,教师授课风格检测模块检测教师的授课风格,相关性分析模块分析学生注意力检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系;本发明对学生的专注率与音频特征、授课主题之间的相关性进行分析,能帮助教师调整授课风格,提升学生的专注率。

    基于单目视觉和IMU信息的机器人定位与地图构建系统

    公开(公告)号:CN107193279A

    公开(公告)日:2017-09-22

    申请号:CN201710320077.0

    申请日:2017-05-09

    申请人: 复旦大学

    IPC分类号: G05D1/02

    CPC分类号: G05D1/0251 G05D1/0276

    摘要: 本发明公开了一种基于单目视觉和IMU信息的机器人定位与地图构建系统。本发明利用纯视觉导航信息对IMU偏差模型、绝对尺度以及重力加速度方向等进行估计;在视觉导航中,使用高效的ORB特征提取算法,对图像帧提取丰富的ORB特征;利用基于预积分的IMU动力学模型建立相机的运动模型,对相机位置进行实时初步估计;在初步估计的基础上对两个图像帧之间的ORB特征进行更为精确的估计,再利用多目几何知识,实现对空间地图点三维重构;在融合IMU信息的视觉信息匹配的基础之上,采用基于因子图的后端优化算法,实时对地图位置进行精确和实时的估计。本发明能够对机器人运动和周围环境信息进行精确的估计。

    一种多模态的学生课堂行为分析系统和方法

    公开(公告)号:CN108090857A

    公开(公告)日:2018-05-29

    申请号:CN201711469436.5

    申请日:2017-12-29

    申请人: 复旦大学

    IPC分类号: G06Q50/20 G09B5/14 G10L25/51

    摘要: 本发明属于计算机技术领域,具体为一种多模态的学生课堂行为分析系统和方法。本发明系统包括学生注意力检测模块、教师授课内容检测模块、教师授课风格检测模块和相关性分析模块;学生注意力检测模块检测学生的专注率,教师授课内容检测模块检测教师的授课内容,教师授课风格检测模块检测教师的授课风格,相关性分析模块分析学生注意力检测模块测得的学生的专注率和教师授课内容检测模块测得的教师的授课内容、以及教师授课风格检测模块测得的授课风格之间的联系;本发明对学生的专注率与音频特征、授课主题之间的相关性进行分析,能帮助教师调整授课风格,提升学生的专注率。