公开(公告)号：CN111709306B

公开(公告)日：2023-06-09

申请号：CN202010441559.3

申请日：2020-05-22

Applicant: 江南大学

Inventor： 孔军 ,  王圣全 ,  蒋敏

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047 ,  G06N3/08

Abstract: 一种基于多层次时空特征融合增强的双流网络行为识别方法。该方法采用了一种基于时空双流网络的网络架构，称作多层次时空特征融合增强网络。针对传统双流网络仅仅在最后层融合两个流的类别概率分布导致浅层特征的作用被忽视以及双流网络的互补特点无法被充分利用的问题，本发明提出多层次时空特征融合模块，在双流不同深度层级通过时空特征融合模块捕获多深度级别的混合特征以充分利用双流网络。此外，在网络中，平等地对待所有特征会削弱那些对分类贡献大的特征的作用。本发明在网络中提出分组增强注意力模块，自动增强特征上的有效区域以及通道的显著性。最终本发明通过汇集双流网络以及特征融合的分类结果，进一步提高了行为识别模型的鲁棒性。

公开(公告)号：CN111709306A

公开(公告)日：2020-09-25

申请号：CN202010441559.3

申请日：2020-05-22

Applicant: 江南大学

Inventor： 孔军 ,  王圣全 ,  蒋敏

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 一种基于多层次时空特征融合增强的双流网络行为识别方法。该方法采用了一种基于时空双流网络的网络架构，称作多层次时空特征融合增强网络。针对传统双流网络仅仅在最后层融合两个流的类别概率分布导致浅层特征的作用被忽视以及双流网络的互补特点无法被充分利用的问题，本发明提出多层次时空特征融合模块，在双流不同深度层级通过时空特征融合模块捕获多深度级别的混合特征以充分利用双流网络。此外，在网络中，平等地对待所有特征会削弱那些对分类贡献大的特征的作用。本发明在网络中提出分组增强注意力模块，自动增强特征上的有效区域以及通道的显著性。最终本发明通过汇集双流网络以及特征融合的分类结果，进一步提高了行为识别模型的鲁棒性。