公开(公告)号：CN114708649B

公开(公告)日：2025-03-21

申请号：CN202210240650.8

申请日：2022-03-10

Applicant: 广州大学

Inventor： 曹忠 ,  胡伟俊 ,  尚文利 ,  赵文静

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及计算机识别技术领域，且公开了基于集成学习方法融合时间注意力图卷积的行为识别方法，包括以下步骤：步骤一：将拍摄得到的人体交互行为视频拆分成图片帧，每个视频都拆分成148帧；步骤二：使用Openpose算法实现人体骨骼点的三维坐标点的数据提取；步骤三：使用图结构和关节点特征矩阵来描述人体骨架，对于图结构，人体骨架的图结构的构建方式为自然物理连接方式。本发明是基于集成学习方法融合时间注意力图卷积的行为识别方法，使用融合时间注意力的时空图卷积网络进行行为识别，在数据特征描述上，使用了静止三维信息流、交互信息流、运动速度流和交互运动速度流来对人体特征进行描述，丰富了特征的语义信息。

公开(公告)号：CN116524587A

公开(公告)日：2023-08-01

申请号：CN202310207508.8

申请日：2023-03-06

Applicant: 广州大学

Inventor： 曹忠 ,  程有勇 ,  尚文利 ,  赵文静 ,  郑锐 ,  胡伟俊

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/80 ,  G06V10/40

Abstract: 本发明提出了一种基于语义和交互特征的双人行为识别方法，其实现步骤为：通过OpenPose算法从视频中获取人体骨骼关节点的三维坐标信息。通过骨骼关节点信息判断是否为双人行为。将两个人的骨架信息分别用和来表示，并且通过高维编码嵌入高维。定义关节类型的语义spa并且通过高维编码嵌入高维，与骨架信息融合。通过双人的骨架信息提取其双人交互信息g_ram。构建关节级图卷积模块，并将融合了关节类型的骨骼信息与双人交互信息输入进行特征融合。定义时间帧类型语义与经过关节级图卷积后得到的特征进行融合。通过构建的帧级卷积模块实现行为识别分类。本发明是一种基于语义和交互特征的双人行为识别方法，能够很好的表达交互特征并且识别双人行为。

公开(公告)号：CN116386131A

公开(公告)日：2023-07-04

申请号：CN202310176073.5

申请日：2023-02-24

Applicant: 广州大学

Inventor： 曹忠 ,  郑锐 ,  赵文静 ,  尚文利 ,  胡伟俊 ,  程有勇

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于双流动力学特征的人体行为识别方法，包括：先提取人体骨骼关节点的空间三维信息，得到人体关节点序列，并通过人体关节点序列转化为人体骨骼序列数据集。构建动力学特征提取模块，并通过构建的空间图卷积模块和时间卷积模块和动力学特征提取模块来构建动力学时空图卷积网络。最后利用动力学时空图卷积网络构建双流动力学时空图卷积网络，将人体关节点序列转化为人体骨骼序列作为双流输入，最终将双流加权融合实现人体行为识别分类。本发明解决了现有技术对偏向在速度表达和骨架表达的一些行为识别准确率低的问题，通过加权融合互相弥补各自单流网络的不足，提高了对视频行为识别的准确率。

公开(公告)号：CN117690163A

公开(公告)日：2024-03-12

申请号：CN202311739082.7

申请日：2023-12-18

Applicant: 广州大学

Inventor： 曹忠 ,  黄俊凯 ,  胡嘉谦 ,  胡伟俊 ,  尚文利 ,  浣沙 ,  张曼

IPC: G06V40/10 ,  G06V40/20 ,  G06V20/40 ,  G06V10/34 ,  G06V10/75 ,  G06V10/766 ,  G06V10/80

Abstract: 本发明公开了一种3D人体骨骼关键点数据增强方法及系统，该方法包括：获取2D骨骼关键点数据；确定缺失肢体边缘连接的2D骨骼关键点索引和缺失骨骼关键点的数量；对2D骨骼关键点数据进行帧筛选和平滑处理；构建缺失肢体的姿势先验约束和数据增强算法；通过姿势先验约束和数据增强算法对SMPLify‑X模型进行迭代，得到最优3D骨架SMPL‑X模型，并获取3D骨骼关键点数据及其数据标注文件。该系统包括：数据获取模块、数据对比分析模块、数据平滑模块、算法构建模块、最优模型生成模块和标注数据获取模块。通过使用本发明，能够保持缺失肢体人体关键点数据和完整人体骨骼关键点数据特征分布的一致性，增强算法的鲁棒性和泛化能力。本发明可广泛应用于计算机视觉技术领域。

公开(公告)号：CN114708649A

公开(公告)日：2022-07-05

申请号：CN202210240650.8

申请日：2022-03-10

Applicant: 广州大学

Inventor： 曹忠 ,  胡伟俊 ,  尚文利 ,  赵文静

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及计算机识别技术领域，且公开了基于集成学习方法融合时间注意力图卷积的行为识别方法，包括以下步骤：步骤一：将拍摄得到的人体交互行为视频拆分成图片帧，每个视频都拆分成148帧；步骤二：使用Openpose算法实现人体骨骼点的三维坐标点的数据提取；步骤三：使用图结构和关节点特征矩阵来描述人体骨架，对于图结构，人体骨架的图结构的构建方式为自然物理连接方式。本发明是基于集成学习方法融合时间注意力图卷积的行为识别方法，使用融合时间注意力的时空图卷积网络进行行为识别，在数据特征描述上，使用了静止三维信息流、交互信息流、运动速度流和交互运动速度流来对人体特征进行描述，丰富了特征的语义信息。