公开(公告)号：CN118196891A

公开(公告)日：2024-06-14

申请号：CN202410243640.9

申请日：2024-03-04

Applicant: 西安电子科技大学

Inventor： 刘如意 ,  刘义 ,  辛文天 ,  苗启广 ,  谢琨 ,  吴梦瑶 ,  赵佩佩 ,  李宇楠 ,  吴帅 ,  卢子祥

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/42 ,  G06V10/44 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/049

Abstract: 一种基于动作注意力引导的轻量级骨架动作分类方法、系统、设备及介质，方法：获取待训练骨架视频样本；构建基于动作注意力引导的轻量级骨架动作分类模型(AL‑GCN)；通过自主学习空间卷积网络(AL‑SGCN)提取空间特征，对提取完空间特征的骨架序列进行注意力修正；通过多尺度时间融合卷积网络(MS‑TFCN)对骨架关节的长距离随机依赖进行建模，实现时间特征提取；对提取完时间特征的骨架序列进行注意力修正；使用跳转模块(Jump)和多流高斯权值选择算法提升AL‑GCN模型的动作识别准确率，将生成的骨架时空特征送入分类器；系统、设备及介质用于实现该方法；本发明通过GCN网络结构，实现基于骨骼数据的动作分类任务，并在已有数据集上取得了高精度的分类性能。

公开(公告)号：CN117877119A

公开(公告)日：2024-04-12

申请号：CN202410056047.3

申请日：2024-01-15

Applicant: 西安电子科技大学

Inventor： 苗启广 ,  余文新 ,  刘如意 ,  辛文天 ,  刘义 ,  李荣涵 ,  赵佩佩

IPC: G06V40/20 ,  G06N3/0464 ,  G06V10/46 ,  G06V10/774 ,  G06V10/52 ,  G06V10/62 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 一种面向骨架尺度差异性特征提取的动作识别方法、系统、设备及介质，方法为：根据人体行为类别对拍摄的人体行为视频标注，得到人体动作样本；提取人体骨骼关节点的空间三维信息，创建人体关节数据集并对其进行转化，构造人体骨骼数据集和人体运动速度数据集；构建动态多尺度空间特征提取模块和多尺度时间特征提取模块、关节‑部位特征增强注意力模块及时空域结果偏向模块；将人体关节数据集、人体骨骼数据集和人体运动速度数据集分别经过构建的模块进行特征学习获得相应的识别结果，将识别结果加权融合，实现行为识别分类；系统、设备及介质用于实现该方法；本发明对多尺度骨架节点和身体部位结构有效建模，有效提高对人体行为识别模型的识别性能。

公开(公告)号：CN119131880A

公开(公告)日：2024-12-13

申请号：CN202410893920.4

申请日：2024-07-04

Applicant: 西安电子科技大学

Inventor： 刘如意 ,  吴梦瑶 ,  刘义 ,  辛文天 ,  苗启广 ,  谢琨 ,  孙鹏岗

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/20 ,  G06V10/40 ,  G06V10/80 ,  G06V10/764 ,  G06N3/047 ,  G06N3/048 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/0464 ,  G06V10/74 ,  G06V10/762 ,  G06V10/82

Abstract: 一种基于动作语义引导的自监督骨架行为识别方法、系统、设备及介质，其方法是：首先，获取待训练骨架视频样本并进行预处理；其次，通过动作语义生成模块生成预处理后人体骨架数据集中每类动作的语义原型，即生成对应动作文本语义特征；另外，将预处理后的人体骨架数据集输入到特征增强模块(FAM)，实现骨架数据增强，生成对应动作的骨架特征；最后，使用多模态融合模块融合对应动作的动作文本语义特征和骨架特征，辅助模型从语义层面学习更具区别性和代表性的动作表示，提升模糊动作识别精度，通过对比学习的方法，以自监督的方式旨在保证模型识别性能的同时降低对大规模标注数据的依赖，实现基于骨架的人体动作分类；其系统、设备及介质基于动作语义引导的自监督骨架行为识别方法，对人体动作进行识别分类，具有准确性高和鲁棒性好的优点。

公开(公告)号：CN117671353A

公开(公告)日：2024-03-08

申请号：CN202311642374.9

申请日：2023-12-04

Applicant: 西安电子科技大学

Inventor： 刘如意 ,  刘义 ,  苗启广 ,  辛文天 ,  宋建锋 ,  赵佩佩 ,  刘向增 ,  李宇楠 ,  吴帅

IPC: G06V10/764 ,  G06V40/20 ,  G06V10/82 ,  G06V10/52 ,  G06V10/30 ,  G06N3/0455 ,  G06N3/09

Abstract: 动作抖动与骨架噪声抑制的多尺度时空交互骨架动作分类方法、系统、设备及介质，其方法是：首先获取待训练骨架视频样本；其次利用骨架动作识别模型的稀疏级选择模块，提取待训练骨架样本的多尺度特征，空域上，通过原始关节特征和稀疏级关节特征构建级联交互矩阵，并将多头自注意应用于通道特征的交互和扩散；时域上，利用骨架动作识别模型的时域多尺度时间卷积模块，结合多尺度滤波器和时间自注意通道交互算法，提取不同的时间特征，促进全局时间信息交互和更新；系统、设备及介质基于骨架动作分类方法，通过Transformer网络结构，实现基于骨骼数据的动作分类任务，并在已有数据集上取得了高精度的分类性能。