公开(公告)号：CN117079341A

公开(公告)日：2023-11-17

申请号：CN202211631875.2

申请日：2022-12-19

申请人： 南昌工学院

发明人： 黎曦 ,  李少义 ,  韩经纬 ,  刘海 ,  侯常辉 ,  田斌 ,  刘婷婷 ,  鞠剑平 ,  肖振华

IPC分类号： G06V40/20 ,  G06T7/00 ,  G06V20/40 ,  G06T5/50 ,  G06V10/77 ,  G06N3/08 ,  G06N3/0499

摘要： 本发明针对目前智慧课堂教学的单一性问题，公开了一种基于棋盘自注意力机制的课堂教学手势识别方法。该方法包括如下步骤：1)分别获取智慧课堂中四传感器彩色线阵扫描相机下教师视频数据和3D激光雷达下的智慧课堂的点云信息；2)将四传感器彩色线阵扫描相机下教师视频数据按时间顺序划分为RGB图像帧；3)将教师的RGB图像帧输入到手势检测的模型中获取教师在智慧课堂教师中的手势检测结果；4)将教师手势检测图像与点云信息进行融合，数据进一步输送到3D手势识别的模型中，用来识别智慧课堂中教师教学的手势结果；5)对教师不同时刻的手势识别结果进行分析，反馈到智慧课堂中进行人机交互，起到控制教学设备的作用。本发明通过对智慧课堂中教师不同时刻的手势进行识别和分析，可以实时判断教师的手势，传递教师需要表达的操作意图，高效控制教学设备。

公开(公告)号：CN117173758A

公开(公告)日：2023-12-05

申请号：CN202211662783.0

申请日：2022-12-23

申请人： 南昌工学院

发明人： 田斌 ,  李少义 ,  黎曦 ,  罗芷萱 ,  侯常辉 ,  刘婷婷 ,  刘海 ,  肖振华

IPC分类号： G06V40/16 ,  G06Q50/20 ,  G06V40/10 ,  G06V10/82 ,  G06N3/08 ,  G06V10/80 ,  G06N3/042 ,  G06N3/0464 ,  A61B5/16 ,  A61B5/11 ,  A61B5/0205 ,  A61B5/145 ,  A61B5/318

摘要： 本发明针对学习者难以实时评估自身注意力状态的问题，公开了一种基于多维度特征融合网络的学习注意力状态评估方法。该方法包括如下步骤：1)获取办公桌上双目成像设备(短波红外摄像头、激光雷达扫描仪)采集的学习者视频资源，并划分为多帧图像；手部可穿戴设备获取学习者的血氧饱和度及心率信号；2)对学习者的SWIR图像进行人脸区域及面部特征点定位。分割出头部区域3D点云集；3)将人脸区域SWIR图像和头部3D点云集输入对应的特征提取网络获取特征拓扑图，经过自注意力加权模块融合后，输入柯西标签分布回归模块得到学习者的头部姿态角度。提取血氧饱和度及心率变化特征，判断学习者的疲劳等级；4)根据学习者的头部姿态角度和面部特征点变化，及疲劳程度，综合评估注意力状态，若不集中则提醒学习者；5)统计学习过程中注意力状态情况，并反馈统计分析报告。本发明通过综合评估和统计反馈学习者的注意力状态，帮助学习者提高专注度，培养良好的学习习惯。

公开(公告)号：CN117333849A

公开(公告)日：2024-01-02

申请号：CN202211684957.3

申请日：2022-12-27

申请人： 南昌工学院

发明人： 李少义 ,  田斌 ,  熊江俊 ,  肖守柏 ,  黎曦 ,  李超 ,  杜军 ,  刘婷婷 ,  鞠剑平

IPC分类号： G06V20/59 ,  G06V40/16 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0464

摘要： 本发明针对安全驾驶检测这一问题，公开了一种基于双分支型细粒度映射结构的驾驶员注意力检测方法。该方法包括如下步骤：1)获取车辆中鱼眼摄像头下驾驶员开车的视频资源，并将视频资源按时间顺序分为多帧图像；2)对车辆中驾驶员驾驶过程的多帧图像进行预处理；3)将预处理后的驾驶过程中的多帧图像输入到训练好的细粒度结构聚合网络中获取驾驶员头部的三个自由度的角度结果,输入到训练好的三阶段面部检测神经网络中获取面部的特征点；4)根据不同时刻驾驶员头部姿态角度的检测结果及面部相关特征点的变化结果综合来对其驾驶注意力进行检测与判断；5)根据统计结果判断驾驶员在开车过程中是否出现环顾四周，低头，打哈欠，眨眼等注意力分散现象。本发明通过在线对驾驶员开车过程中头部姿态角度和面部特征的检测与分析进而对驾驶员的驾驶注意力进行跟踪与判断，可以实时的判断驾驶员驾驶过程是否存在注意力分散的现象，系统将产生预警提醒驾驶员，从而预防交通事故，提高安全保障。

公开(公告)号：CN117197856A

公开(公告)日：2023-12-08

申请号：CN202211674092.2

申请日：2022-12-26

申请人： 南昌工学院

发明人： 黎曦 ,  杜军 ,  朱炜为 ,  李少义 ,  肖守柏 ,  李超 ,  郑宏 ,  刘婷婷

IPC分类号： G06V40/16 ,  G06V20/40 ,  G06V10/46 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/047 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0455 ,  G06N3/08 ,  G06F16/635

摘要： 本发明提供了一种融合自注意力机制的学习者在线兴趣检测方法，实现步骤为：1)获取学生视频中RGB摄像头下学生上课的视频资源，并将视频资源按时间顺序分为多帧图像；通过语音传感器(例如，麦克风等语音录制设备)获取语音信号，2)分别对视频系统中学生的RGB多帧图像和语音信号进行预处理3)将预处理后的学生的RGB多帧图像输入到训练好的表情识别模型中，获取不同学生在摄像头下的表情识别结果，将提取的语音信号传入语音情感分类器中，提取情感类别4)综合考虑学生的表情和语音情感分析结果，对学生兴趣进行判断；5)根据结果判断学生课堂兴趣反馈给教师对课堂内容进行调整。本发明通过在线对课堂中学生的表情进行识别分析，可以实时准确的预判学生是否对课堂内容感兴趣，便于教师调整教学内容，增加教学质量。