公开(公告)号：CN114220170A

公开(公告)日：2022-03-22

申请号：CN202111546456.4

申请日：2021-12-16

申请人： 重庆大学

发明人： 周明亮 ,  汪威 ,  向涛 ,  房斌 ,  魏雪凯

IPC分类号： G06V40/20 ,  G06V20/40 ,  G06V10/46 ,  G06V10/62 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于时空和运动信息融合的人体行为识别方法，对视频数据提取，得到视频帧集；对视频帧集进行预处理，将预处理后的采样帧输入到构建的深度卷积神经网络模型中；利用其模型对采样帧提取短程运动特征和原始图像特征，两者融合得到第一次融合特征；对第一次融合特征分别进行长程运动和时空特征提取，得到长程运动信息特征和时空信息特征；融合这两种特征，得到第二次融合特征，根据第二次融合特征获得行为分类预测得分；基于分类预测得分获得人体行为识别结果。本发明通过构建深度卷积神经网络模型，利用运动信息提取模块和时空信息提取模块，有效捕获并融合时空特征和多尺度运动特征，进而提高人体行为识别精度。

公开(公告)号：CN114220170B

公开(公告)日：2024-08-06

申请号：CN202111546456.4

申请日：2021-12-16

申请人： 重庆大学

发明人： 周明亮 ,  汪威 ,  向涛 ,  房斌 ,  魏雪凯

IPC分类号： G06V40/20 ,  G06V20/40 ,  G06V10/52 ,  G06V10/62 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于时空和运动信息融合的人体行为识别方法，对视频数据提取，得到视频帧集；对视频帧集进行预处理，将预处理后的采样帧输入到构建的深度卷积神经网络模型中；利用其模型对采样帧提取短程运动特征和原始图像特征，两者融合得到第一次融合特征；对第一次融合特征分别进行长程运动和时空特征提取，得到长程运动信息特征和时空信息特征；融合这两种特征，得到第二次融合特征，根据第二次融合特征获得行为分类预测得分；基于分类预测得分获得人体行为识别结果。本发明通过构建深度卷积神经网络模型，利用运动信息提取模块和时空信息提取模块，有效捕获并融合时空特征和多尺度运动特征，进而提高人体行为识别精度。