公开(公告)号：CN116524587A

公开(公告)日：2023-08-01

申请号：CN202310207508.8

申请日：2023-03-06

Applicant: 广州大学

Inventor： 曹忠 ,  程有勇 ,  尚文利 ,  赵文静 ,  郑锐 ,  胡伟俊

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/80 ,  G06V10/40

Abstract: 本发明提出了一种基于语义和交互特征的双人行为识别方法，其实现步骤为：通过OpenPose算法从视频中获取人体骨骼关节点的三维坐标信息。通过骨骼关节点信息判断是否为双人行为。将两个人的骨架信息分别用和来表示，并且通过高维编码嵌入高维。定义关节类型的语义spa并且通过高维编码嵌入高维，与骨架信息融合。通过双人的骨架信息提取其双人交互信息g_ram。构建关节级图卷积模块，并将融合了关节类型的骨骼信息与双人交互信息输入进行特征融合。定义时间帧类型语义与经过关节级图卷积后得到的特征进行融合。通过构建的帧级卷积模块实现行为识别分类。本发明是一种基于语义和交互特征的双人行为识别方法，能够很好的表达交互特征并且识别双人行为。

公开(公告)号：CN116386131A

公开(公告)日：2023-07-04

申请号：CN202310176073.5

申请日：2023-02-24

Applicant: 广州大学

Inventor： 曹忠 ,  郑锐 ,  赵文静 ,  尚文利 ,  胡伟俊 ,  程有勇

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于双流动力学特征的人体行为识别方法，包括：先提取人体骨骼关节点的空间三维信息，得到人体关节点序列，并通过人体关节点序列转化为人体骨骼序列数据集。构建动力学特征提取模块，并通过构建的空间图卷积模块和时间卷积模块和动力学特征提取模块来构建动力学时空图卷积网络。最后利用动力学时空图卷积网络构建双流动力学时空图卷积网络，将人体关节点序列转化为人体骨骼序列作为双流输入，最终将双流加权融合实现人体行为识别分类。本发明解决了现有技术对偏向在速度表达和骨架表达的一些行为识别准确率低的问题，通过加权融合互相弥补各自单流网络的不足，提高了对视频行为识别的准确率。