基于门控融合单元的特征融合组群识别方法

    公开(公告)号:CN110532862A

    公开(公告)日:2019-12-03

    申请号:CN201910655552.9

    申请日:2019-07-19

    Inventor: 宋波 王传旭 薛豪

    Abstract: 本发明公开一种基于门控融合单元的特征融合组群识别方法,通过识别出组群中的关键人物,并利用组群中个人之间的交互特征对组群行为进行识别;包括:(1)首先将跟踪到的每个人的边界框和场景级图像分别输入到CNN进行视觉特征提取;(2)然后对关键人物进行建模,并基于LSTM进行时序特征提取;(3)最后将步骤(2)中提取的时序特征信息输入到门控融合单元,进行特征融合,寻找单人和单人以及单人和场景级特征之间交互关系,进而实现对组群行为的识别;该方案通过确定关键人物来抑制噪声对组群行为识别的影响,并基于门控融合单元更好的表达组群中的交互关系来识别组群行为,组群行为识别精度高,应用范围广。

    基于伪3D卷积神经网络的组群行为识别方法

    公开(公告)号:CN110378281A

    公开(公告)日:2019-10-25

    申请号:CN201910645623.7

    申请日:2019-07-17

    Abstract: 本发明公开一种基于伪3D卷积神经网络的组群行为识别方法,包括:(1)利用OpenPose姿态估计算法进行人体姿态估计与目标跟踪;(2)利用P3D ResNet(伪3D残差网络)提取每个人的时空特征,使用softmax分类器对时空特征进行分类,完成单人行为识别;(3)利用人体目标的位置信息和外观特征,构建人体目标交互图,并利用图卷积网络进行图推理和训练;(4)根据人体目标交互图进行组群行为识别。本方案基于P3D卷积网络提取特征,即减少了模型的参数又提高了识别精度,并结合人体目标的位置信息和外观特征,构建人体目标交互图以提高群组行为识别率,通过该技术,计算机可以实时判断公共区域中感兴趣人体目标的状态变化,进行自动人体行为识别,识别精度高,应用领域广。

    同类行为多视图间相似度挖掘方法及行为识别方法

    公开(公告)号:CN103310233A

    公开(公告)日:2013-09-18

    申请号:CN201310268884.4

    申请日:2013-06-28

    Abstract: 本发明公开了一种同类行为多视图间相似度挖掘方法及行为识别方法,所述行为识别方法基于所述相似度挖掘方法。所述相似度挖掘方法包括:对同类行为不同视图的视频流逐帧计算每帧灰度图像中每个像素点的Hessian矩阵响应的步骤;根据矩阵响应确定特征点的步骤;构建特征点的时空特征描述符、降维后获得姿态描述向量的步骤;以姿态描述向量为底层特征,计算相似度递归图矩阵的步骤;根据递归图矩阵获得递归性描述符的步骤以及对递归性描述符聚类的步骤。本发明通过时空特征点方法实现姿态建模,并通过递归图挖掘多视图间的递归相似度,避免了依赖于背景分割而容易导致人体姿态失真的问题,提高了相似度挖掘的精度及行为识别的鲁棒性。

    基于深度学习的视觉多目标跟踪方法及装置

    公开(公告)号:CN111860504B

    公开(公告)日:2024-08-02

    申请号:CN202010698618.5

    申请日:2020-07-20

    Abstract: 本发明公开了一种基于深度学习的多目标跟踪方法及装置,所述方法包括:将视频帧序列输入到残差网络中;将残差网络至少一个底层的输出特征与该网络最后一层的输出特征融合,输出残差网络融合特征图;获得与当前视频帧相邻的前两视频帧对应的注意力图;利用注意力图对当前视频帧的所述残差网络融合特征图作加权,输出空间增强特征图;将空间增强特征图输入到LSTMs网络中,输出时空增强特征图;将时空增强特征图输入到RPN网络中,输出带有区域建议的特征图;将带有区域建议的特征图分别输入到目标检测器和数据关联头,输出目标检测结果和预测关联矢量;基于目标检测结果和关联矢量进行目标跟踪。应用本发明,能提高目标检测与跟踪的精确度。

    一种输电线路异常目标检测方法

    公开(公告)号:CN111667461B

    公开(公告)日:2023-08-29

    申请号:CN202010373851.6

    申请日:2020-05-06

    Abstract: 本发明公开了一种输电线路异常目标检测方法,包括:获取原始输电线路图像;利用残差网络和特征金字塔提取所述原始输电线路图像的特征,获得多尺度特征金字塔图集;将所述多尺度特征金字塔图集融合处理,获得融合后的特征图;将所述融合后的特征图输入非局部网络,进行特征增强,生成增强后的特征金字塔图集;将所述增强后的特征金字塔图集中的每个特征图输入到特征指导anchor生成机制中生成目标anchor,并进行特征自适应调整,生成修正后的特征金字塔图集;利用检测器检测所述修正后的特征金字塔图集,并利用损失函数修正检测结果,输出最终的目标检测结果。应用本发明,能够提高输电线路异常目标检测的准确性。

    基于通道信息融合和组群关系空间结构化建模的组群行为识别方法

    公开(公告)号:CN111597929B

    公开(公告)日:2023-05-05

    申请号:CN202010359666.1

    申请日:2020-04-30

    Abstract: 本发明提出一种基于通道信息融合和组群关系空间结构化建模的组群行为识别方法;首先将待识别视频分段并等距离采样若干帧,通过改进的STM网络模块提取包含时空与运动信息的融合特征;然后将每帧的融合特征进行帧内区域划分和高维映射,形成图结构数据;最后通过包含核心组群关系演化模型的图卷积‑LSTM网络,整合出全局行为判别特征和局部行为判别特征作为组群行为描述符来判别行为分类,通过softmax得到最终的行为标签;本方案加入通道选择模块来融合空间和运动特征,以同时提取包含空间和运动信息的特征表示,增强特征的关联性;结合组群关系空间结构化建模,保证提取时空信息特征的的完整性和全面性,并重点考量了对行为判别起到决定性作用的组群交互关系这一关键对象,可有效的提高识别精度。

    一种输电线路异常目标检测方法

    公开(公告)号:CN111667461A

    公开(公告)日:2020-09-15

    申请号:CN202010373851.6

    申请日:2020-05-06

    Abstract: 本发明公开了一种输电线路异常目标检测方法,包括:获取原始输电线路图像;利用残差网络和特征金字塔提取所述原始输电线路图像的特征,获得多尺度特征金字塔图集;将所述多尺度特征金字塔图集融合处理,获得融合后的特征图;将所述融合后的特征图输入非局部网络,进行特征增强,生成增强后的特征金字塔图集;将所述增强后的特征金字塔图集中的每个特征图输入到特征指导anchor生成机制中生成目标anchor,并进行特征自适应调整,生成修正后的特征金字塔图集;利用检测器检测所述修正后的特征金字塔图集,并利用损失函数修正检测结果,输出最终的目标检测结果。应用本发明,能够提高输电线路异常目标检测的准确性。

    基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法

    公开(公告)号:CN111626171A

    公开(公告)日:2020-09-04

    申请号:CN202010434393.2

    申请日:2020-05-21

    Abstract: 本发明提出一种基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法,主要用于解决视频监控场景下群组行为识别的精度问题,以提高群组行为识别精度并排除视频中大量冗余信息;首先,利用片段注意力机制提取视频中的关键片段,并通过P3D网络提取其时空特征;然后利用卷积关系机制构建群组活动图以捕获人与人之间的交互关系,并通过多个阶段、不同类型的卷积操作对活动图进行优化,形成对组群关系的动态描述;进一步,通过融合机制将优化后的组群关系活动图与原始的P3D特征进行融合,旨在将底层的P3D特征和高层的组群特征进行结合,避免特征丢失;最后,将融合后的特征利用softmax分类器对群组行为进行识别,以获得更高的组群行为识别精度和效果。

    基于多流架构与长短时记忆网络的组群行为识别方法

    公开(公告)号:CN110516540A

    公开(公告)日:2019-11-29

    申请号:CN201910646216.8

    申请日:2019-07-17

    Abstract: 本发明公开了一种基于多流架构与长短时记忆网络的组群行为识别方法,涉及图像识别技术领域,包括以下步骤:数据预处理;B、通过双路TSN网络分别对主要人物候选框和整张图片的外观和运动特征进行提取,得到单人局部空间外观信息 单人局部时序运动信息 全局空间外观信息和全局时序运动信息 C、特征融合及组群行为识别;D、对模型进行训练和测试。本发明的有益效果是,特征提取方面,进一步保证其提取的全面性;特征融合方面,使用通道注意力模型,以获得更具区分性的特征,来提高组群行为的准确率。

    基于图形化交互关系建模的组群识别方法

    公开(公告)号:CN108764011A

    公开(公告)日:2018-11-06

    申请号:CN201810253398.8

    申请日:2018-03-26

    CPC classification number: G06K9/00744 G06K9/629 G06N3/04

    Abstract: 本发明公开了一种基于图形化交互关系建模的组群识别方法,所述方法包括下述过程:识别并跟踪人体目标;构建以多粒度信息融合模型表征的人体目标底层特征基础模型;基于基础模型进行深度学习,获得底层特征深度学习模型;基于底层特征基础模型和底层特征深度学习模型构建人体目标交互关系;基于交互关系识别组群的构成,并分析其群体行为属性。应用本发明,能够解决现有组群识别方法建立交互关系考虑的因素少而导致组群识别精度低、易产生误判等的技术问题。

Patent Agency Ranking