公开(公告)号：CN118486082A

公开(公告)日：2024-08-13

申请号：CN202410683528.7

申请日：2024-05-29

申请人： 武汉纺织大学

发明人： 姜明华 ,  亓成龙 ,  余锋 ,  郑兴伟 ,  王成 ,  刘莉

IPC分类号： G06V40/20 ,  G06V20/52 ,  G06V10/774 ,  G06V20/40 ,  G06V10/776

摘要： 本发明涉及一种基于骨骼点的课堂行为识别方法，包含如下步骤：S1:采集课堂中监控学生的视频数据，制作课堂数据集，将课堂数据集分为训练集、验证集和测试集；S2:提取训练集和测试集中的人体骨骼关键点数据，获得人体骨骼关键点数据集；S3:设计类不平衡损失函数；S4:使用提取的骨骼关键点数据集训练课堂行为识别网络模型，得到训练好的课堂行为识别网络模型并保存；S5:利用训练好的课堂行为识别网络模型，实时检测学生课堂中的行为。通过以骨骼点为基础，而非直接依赖于像素级的图像信息，骨骼点数据不受视觉外观变化的影响，具有较高的抗扰性，能够稳定地反映人体运动的本质，使得模型在各种环境条件下都能保持较好的识别性能。

公开(公告)号：CN117994594A

公开(公告)日：2024-05-07

申请号：CN202410403204.3

申请日：2024-04-03

申请人： 武汉纺织大学

发明人： 李敏 ,  张影 ,  郑兴伟 ,  杨学舟 ,  李立 ,  谢玲星 ,  亓成龙 ,  李辰晨

IPC分类号： G06V10/764 ,  G06N3/0464 ,  G06N3/08 ,  G06Q50/06 ,  G06T7/73 ,  G06V10/80 ,  G06V10/82

摘要： 本发明公开了一种基于深度学习的电力作业风险识别方法，所述方法包括以下步骤：S1：设计适用于电力作业风险的目标检测模型；S2：训练设计好的目标检测模型，得到训练好的目标检测模型；S3：使用训练好的目标检测模型时来识别和定位电力作业中具有风险的位置。本发明通过图像特征处理模块提取图像特征，将提取的特征送入特征金字塔网络模块，用于融合不同分辨率的特征图，再通过角点定位模块得到的角点位置和中心定位模块得到的中心点位置进行关联，使用定位解码模块得到物体的位置和尺寸信息，提高目标检测模型识别的准确性。

公开(公告)号：CN117649630B

公开(公告)日：2024-04-26

申请号：CN202410114410.2

申请日：2024-01-29

申请人： 武汉纺织大学

发明人： 姜明华 ,  王成 ,  余锋 ,  郑兴伟 ,  刘莉 ,  周昌龙 ,  宋坤芳

IPC分类号： G06V20/40 ,  G06V20/52 ,  G06V10/80 ,  G06V10/774 ,  G06V40/20 ,  G06V10/82

摘要： 本发明公开了一种基于监控视频流的考场作弊行为识别方法，所述方法包括：S1：采集考场监控的视频数据，并对数据进行人工筛选预处理，制作考场行为数据集；S2：设计基于监控视频流的考场作弊行为识别网络模型，包括空间信息提取通道、时间信息提取通道和时空注意力机制特征融合模块；S3：训练考场作弊行为识别网络，得到训练好的考场作弊行为识别网络模型；S4：将训练好的考场作弊行为识别网络模型进行保存，并部署到实际系统中，用于实时的监控视频流的考场作弊行为识别。本发明通过设计基于监控视频流的考场作弊行为识别网络模型，对考场中考生的行为进行实时检测，提高考场作弊行为的识别准确性。

公开(公告)号：CN118155294B

公开(公告)日：2024-08-02

申请号：CN202410578650.8

申请日：2024-05-11

申请人： 武汉纺织大学

发明人： 姜明华 ,  杨学周 ,  余锋 ,  郑兴伟 ,  王成 ,  刘莉

IPC分类号： G06V40/20 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/09 ,  G06Q50/20

摘要： 本发明公开了一种基于时空注意力的双流网络课堂行为识别方法，所述方法包括以下步骤：S1：设计适用于课堂行为识别的行为检测模型；所述行为检测模型包括空间信息提取模块、时间信息提取模块、侧向链接模块和预测模块；S2：使用损失函数和时空注意力模块训练设计好的行为检测模型，得到训练好的行为检测模型；S3：使用训练好的行为检测模型对视频流进行实时监测，生成带有人物框和动作标签的矩形框。该方法能够有效解析视频帧中的行为特征信息，提高对视频中各类学习行为的检测准确率和速度。

公开(公告)号：CN118155294A

公开(公告)日：2024-06-07

申请号：CN202410578650.8

申请日：2024-05-11

申请人： 武汉纺织大学

发明人： 姜明华 ,  杨学周 ,  余锋 ,  郑兴伟 ,  王成 ,  刘莉

IPC分类号： G06V40/20 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/09 ,  G06Q50/20

摘要： 本发明公开了一种基于时空注意力的双流网络课堂行为识别方法，所述方法包括以下步骤：S1：设计适用于课堂行为识别的行为检测模型；所述行为检测模型包括空间信息提取模块、时间信息提取模块、侧向链接模块和预测模块；S2：使用损失函数和时空注意力模块训练设计好的行为检测模型，得到训练好的行为检测模型；S3：使用训练好的行为检测模型对视频流进行实时监测，生成带有人物框和动作标签的矩形框。该方法能够有效解析视频帧中的行为特征信息，提高对视频中各类学习行为的检测准确率和速度。

公开(公告)号：CN118135669A

公开(公告)日：2024-06-04

申请号：CN202410571684.4

申请日：2024-05-10

申请人： 武汉纺织大学

发明人： 姜明华 ,  袁嘉淇 ,  余锋 ,  郑兴伟 ,  王成 ,  刘莉

IPC分类号： G06V40/20 ,  G06V20/52 ,  G06V10/40 ,  G06V10/80 ,  G06V10/26 ,  G06V10/30 ,  G06Q50/20

摘要： 本发明公开了一种基于轻量化网络的课堂行为识别方法及系统，所述方法包括以下步骤：S1：设计适用于解析课堂行为识别图像的轻量化网络的课堂行为识别目标检测模型；所述轻量化网络的课堂行为识别目标检测模型包括特征提取模块、注意力机制模块、轻量特征融合模块和目标检测预测模块；S2：训练设计好的轻量化网络的课堂行为识别目标检测模型，得到训练好的轻量化网络的课堂行为识别目标检测模型；S3：使用训练好的轻量化网络的课堂行为识别目标检测模型来解析课堂行为识别图片，生成预测图像。本发明能够提高课堂行为识别准确率，同时明显降低了计算量和内存消耗，提升实用性。

公开(公告)号：CN118212593A

公开(公告)日：2024-06-18

申请号：CN202410627896.X

申请日：2024-05-21

申请人： 武汉纺织大学

发明人： 姜明华 ,  郑兴伟 ,  余锋 ,  王成 ,  刘莉

IPC分类号： G06V20/52 ,  G06V10/82 ,  G06V10/25 ,  G06V10/764 ,  G06V40/10 ,  G06N3/0455 ,  G06N3/082

摘要： 本发明公开了一种基于轻量化网络的学生课堂关注度识别方法，所述方法包括以下步骤：S1：采集课堂监控场景下的视频和图像，创建数据集C，对数据集C进行预处理；S2：设计训练损失函数，搭建适用于学生课堂关注度识别的轻量化网络结构；S3：通过轻量化网络结构对数据集C进行初步训练，得到目标检测模型；S4：设计量化损失函数，并采用参数量化技术对模型进行量化训练，得到轻量化目标检测模型；S5：使用轻量化目标检测模型对课堂监控流进行预测，输出学生关注度识别结果。本发明通过设计轻量化网络结构和损失函数，提升学生课堂关注度识别的准确性和高效性。

公开(公告)号：CN117523677B

公开(公告)日：2024-06-11

申请号：CN202410008859.0

申请日：2024-01-02

申请人： 武汉纺织大学

发明人： 姜明华 ,  郑兴伟 ,  余锋 ,  王成 ,  刘莉 ,  周昌龙 ,  宋坤芳

IPC分类号： G06V40/20 ,  G06N3/0464 ,  G06N3/048 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06V20/52

摘要： 本发明公开了一种基于深度学习的课堂行为识别方法，所述方法包括以下步骤：S1：设计适用于课堂监控的基于深度学习的课堂行为识别模型，包括关键点提取模块、基于频域变化的特征增强模块和行为识别模块；S2：训练设计好的基于深度学习的课堂行为识别模型，得到训练好的基于深度学习的课堂行为识别模型；S3：使用训练好的基于深度学习的课堂行为识别模型来识别实时课堂监控图片，生成学生行为分类的预测结果。本发明通过关键点提取模块获取人体关键点热图并入栈堆叠组成3D热图，通过基于频域变化的特征增强模块生成2D特征图并入栈堆叠组成3D特征图，将3D热图和3D特征图同时输入行为识别模块进行分类，提高对课堂行为识别的准确率。

公开(公告)号：CN117523677A

公开(公告)日：2024-02-06

申请号：CN202410008859.0

申请日：2024-01-02

申请人： 武汉纺织大学

发明人： 姜明华 ,  郑兴伟 ,  余锋 ,  王成 ,  刘莉 ,  周昌龙 ,  宋坤芳

IPC分类号： G06V40/20 ,  G06N3/0464 ,  G06N3/048 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06V20/52

摘要： 本发明公开了一种基于深度学习的课堂行为识别方法，所述方法包括以下步骤：S1：设计适用于课堂监控的基于深度学习的课堂行为识别模型，包括关键点提取模块、基于频域变化的特征增强模块和行为识别模块；S2：训练设计好的基于深度学习的课堂行为识别模型，得到训练好的基于深度学习的课堂行为识别模型；S3：使用训练好的基于深度学习的课堂行为识别模型来识别实时课堂监控图片，生成学生行为分类的预测结果。本发明通过关键点提取模块获取人体关键点热图并入栈堆叠组成3D热图，通过基于频域变化的特征增强模块生成2D特征图并入栈堆叠组成3D特征图，将3D热图和3D特征图同时输入行为识别模块进行分类，提高对课堂行为识别的准确率。

公开(公告)号：CN118135496B

公开(公告)日：2024-08-30

申请号：CN202410549648.8

申请日：2024-05-06

申请人： 武汉纺织大学

发明人： 姜明华 ,  田艳萍 ,  余锋 ,  郑兴伟 ,  王成 ,  刘莉

IPC分类号： G06V20/52 ,  G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

摘要： 本发明公开了一种基于双流卷积神经网络的课堂行为识别方法，所述方法包括以下步骤：S1：设计适用于课堂行为识别的双流网络模型；所述双流网络模型包括数据预处理模块、双流卷积神经网络提取特征模块、特征融合模块；S2：使用设计好的双流网络模型提取视频特征序列生成行为提议信息；S3：将生成的行为提议信息进行边界优化，特征重新设计后生成行为级的预测结果。本发明通过双流网络模型可以有效地提取图像和视频数据中的空间信息、时间序列信息以及动作特征，从而帮助区分不同的课堂行为类别，能够更准确地判断学生在课堂上的行为动作，提高课堂行为识别的准确率和实时性。