一种基于孪生神经网络及平行注意力模块的目标跟踪方法

    公开(公告)号:CN111354017B

    公开(公告)日:2023-05-05

    申请号:CN202010142418.1

    申请日:2020-03-04

    摘要: 一种基于孪生神经网络及平行注意力模块的目标跟踪方法,属于机器视觉领域。包括如下步骤:1、根据视频序列图片中目标的位置及尺寸,裁剪出模板图像和搜索区域图像,构成训练数据集;2、构建孪生网络,孪生网络的基本骨架采用微调后的残差网络;3、在孪生网络的模板分支嵌入平行注意力模块,包括两个平行的通道注意力模块和空间注意力模块;4、基于训练集,构建自适应焦点损失函数,训练带有平行注意力模块的孪生网络,获得训练收敛的网络模型;5、使用训练好的网络模型进行在线跟踪。本发明在跟踪过程中,可以有效应对目标外观变化等问题,提高了跟踪的精度。

    基于多级残差卷积与注意力机制的中文命名实体识别方法

    公开(公告)号:CN112926323A

    公开(公告)日:2021-06-08

    申请号:CN202110102206.5

    申请日:2021-01-26

    申请人: 江南大学

    发明人: 孔军 张磊鑫 蒋敏

    摘要: 基于多级残差卷积与注意力机制的中文命名实体识别方法,属于自然语言处理领域。该方法采用联合注意力机制的多级残差卷积网络。针对传统循环神经网络处理序列信息时模型效率低下的问题,本发明引入多级残差卷积,以获得不同范围内的局部上下文信息,并充分利用硬件的计算能力,显著提高模型效率。此外,循环神经网络由于梯度消失和梯度爆炸问题,无法有效地获取全局上下文信息,极大地影响网络的性能。本发明在网络中引入注意力机制,通过构建每个字符与句子之间的关系,计算出每个字符的重要性权重,从而学习全局信息。最终本发明利用条件随机场对字符标签的转移概率进行计算以获得合理的预测结果,进一步提高了命名实体识别模型的鲁棒性。

    基于时空显著性行为注意力的双流网络行为识别方法

    公开(公告)号:CN110569773B

    公开(公告)日:2020-12-15

    申请号:CN201910814557.1

    申请日:2019-08-30

    申请人: 江南大学

    发明人: 蒋敏 潘娜 孔军

    IPC分类号: G06K9/00 G06K9/62 G06N3/04

    摘要: 基于时空显著性行为注意力的双流网络行为识别方法,属于机器视觉领域。该方法采用了一种基于时空双流网络的网络架构,称作时空显著性行为注意力网络ST‑SAMANet。针对传统双流网络直接输入RGB帧和光流帧导致内存消耗大、冗余信息过多的问题,本发明引入关键帧机制,以获得帧间的最大差异性,显著减少时间网络的内存消耗。此外,在网络中,帧上存在大量的特征冗余以及背景扰乱,极大地影响网络的性能。本发明在网络中引入Mask R‑CNN技术,高度关注每个行为类别中的人体和物体,对每个帧上的显著性区域进行特征提取。最终利用双向LSTM和C3D网络分别对时空进行编码以获得完善的时空信息,提高了行为识别模型的鲁棒性。

    基于多径时空特征强化融合的三支流网络行为识别方法

    公开(公告)号:CN111709351A

    公开(公告)日:2020-09-25

    申请号:CN202010530501.6

    申请日:2020-06-11

    申请人: 江南大学

    发明人: 孔军 邓浩阳 蒋敏

    摘要: 基于多径时空特征强化融合的三支流网络行为识别方法。该方法采用一种基于时空双流网络的网络框架,称为多径时空特征强化融合网络。针对双流网络仅融合顶层时空特征导致的双流信息利用不充分、特征融合阶段位于全局采样层之后导致特征融合交互不够的问题,本发明利用压缩双线性算法,对来自双流网络多层对应时空特征进行降维,然后进行融合,在减少融合特征所需内存的同时,增加融合特征之间的交互,增强融合效果。此外,本发明在融合流中提出多尺度通道-空间注意力模块,对融合特征中有效特征进行增强,对无效特征进行抑制。最后,本发明还结合时间分段网络TSN的思想对视频中长期时间信息进行捕捉,进一步提高了行为识别模型的鲁棒性。

    一种基于联合模型的相关滤波目标跟踪算法

    公开(公告)号:CN111340842A

    公开(公告)日:2020-06-26

    申请号:CN202010097370.7

    申请日:2020-02-17

    申请人: 江南大学

    发明人: 孔军 丁毅涛 蒋敏

    摘要: 本发明公开了一种基于联合模型的相关滤波目标跟踪算法,属于机器视觉领域。与传统的相关滤波算法不同,本发明采用置信度权重来将KCF模型和CN模型融合,发挥各自模型的特点进行目标跟踪。为了应对跟踪过程中尺度变化的问题,本发明引入了一个单独的尺度滤波器对尺度进行估计。为了应对遮挡,本发明对图像进行分块并计算图像块之间的相似性,以相似性作为判断遮挡的依据。同时采用了分类器池的方法,进一步提高了算法的鲁棒性。

    基于时空显著性行为注意力的双流网络行为识别方法

    公开(公告)号:CN110569773A

    公开(公告)日:2019-12-13

    申请号:CN201910814557.1

    申请日:2019-08-30

    申请人: 江南大学

    发明人: 蒋敏 潘娜 孔军

    IPC分类号: G06K9/00 G06K9/62 G06N3/04

    摘要: 基于时空显著性行为注意力的双流网络行为识别方法,属于机器视觉领域。该方法采用了一种基于时空双流网络的网络架构,称作时空显著性行为注意力网络ST-SAMANet。针对传统双流网络直接输入RGB帧和光流帧导致内存消耗大、冗余信息过多的问题,本发明引入关键帧机制,以获得帧间的最大差异性,显著减少时间网络的内存消耗。此外,在网络中,帧上存在大量的特征冗余以及背景扰乱,极大地影响网络的性能。本发明在网络中引入Mask R-CNN技术,高度关注每个行为类别中的人体和物体,对每个帧上的显著性区域进行特征提取。最终利用双向LSTM和C3D网络分别对时空进行编码以获得完善的时空信息,提高了行为识别模型的鲁棒性。

    基于增量式超限向量回归机集成网络的实时电力负荷预测方法

    公开(公告)号:CN105160441B

    公开(公告)日:2018-11-16

    申请号:CN201510673385.2

    申请日:2015-10-16

    申请人: 江南大学

    IPC分类号: G06Q10/04 G06Q50/06

    摘要: 本发明公开了一种基于增量式超限向量回归机集成网络的实时电力负荷预测方法,包含在线学习和在线负荷预测阶段。在线学习阶段包括以下步骤:实时采集第1批次电力负荷数据和影响因素数据并归一化;初始化II‑ESVR模型;实时采集第k+1(k≥1)批次电力负荷和影响因素数据,归一化并进行增量学习训练。在线负荷预测阶段包括以下步骤:实时采集一批相关影响因素的数据,归一化并作为模型的输入;基于学习阶段的II‑ESVR模型及参数,实时计算预测结果。本发明通过增量式超限向量回归机集成网络的实时电力负荷预测方法,解决数据多样性造成的不稳定问题,该方法具有“快、稳、准”的特点,能够满足电力负荷预测未来发展的需求。

    基于图像深度信息的3D高斯空间人体行为识别方法

    公开(公告)号:CN103810496B

    公开(公告)日:2017-01-25

    申请号:CN201410009445.6

    申请日:2014-01-09

    申请人: 江南大学

    IPC分类号: G06K9/62

    摘要: 本发明专利公开了一种基于图像深度信息的3D高斯空间人体行为识别方法。基于图像深度信息的3D高斯空间人体行为识别方法包括以下步骤:提取深度信息中的人体骨骼3D坐标并对其进行归一化操作,过滤对人体行为识别率低的关节及冗余关节;针对各个行为构建兴趣关节群,基于高斯距离核对人体动作空间特征进行AP聚类,获得行为特征单词表并对其进行数据清理;构建人体行为条件随机场识别模型,据此实现对人体行为的分类。本发明专利对人体具体方向、骨骼尺寸、空间位置都具有较强的抗干扰性,对不同实验个体引入的动作差异有很强的泛化能力,对不同类的相似行为也有很好的识别能力。

    基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法

    公开(公告)号:CN105718889A

    公开(公告)日:2016-06-29

    申请号:CN201610044669.X

    申请日:2016-01-21

    申请人: 江南大学

    IPC分类号: G06K9/00 G06K9/62 G06N3/08

    摘要: 本发明公开了一种基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法。模型训练方法包括以下步骤:将预处理人脸样本依次送入第一个特征提取层,从获取的Gabor特征图像中扫描多个子块并去均值,利用(2D)2PCA提取最优投影轴,与训练集原始样本卷积,获得第一层特征图;将第一层特征图送入第二个特征提取层,重复前述步骤,获得第二层特征图;二值化输出特征图,计算并拼接局部区域直方图作为最终特征;将最终特征送入线性SVM分类器,获得优化的人脸身份识别模型。本发明能够自动学习有效的特征表达,不仅具有良好的局部性,而且对光照、表情和噪音等具有良好的鲁棒性,提高了人脸身份的识别性能。

    基于Lp范数正则化的增量子空间目标跟踪方法

    公开(公告)号:CN105654069A

    公开(公告)日:2016-06-08

    申请号:CN201610077542.8

    申请日:2016-02-03

    申请人: 江南大学

    IPC分类号: G06K9/00

    CPC分类号: G06K9/00711

    摘要: 本发明公开了一种基于Lp范数正则化的增量子空间目标跟踪方法,包括以下步骤:读入视频序列图像,手动标记第一帧目标的图像;利用Ross的方法获取观测值;对前5帧图像直接计算残差来确定当前帧的目标装态,并收集样本,采用Ross的方法获取初始的子空间和均值向量;从第6帧开始,在增广拉格朗日的框架下对观测样本建立目标函数,并进行最小化计算;评估每个候选样本成为当前帧真实目标的置信度,并收集样本;当收集的样本达到5个时,采用Ross的方法增量更新子空间和均值向量。本发明在保证有一定实时性的前提下,对目标在遮挡、光照、运动模糊等挑战下都具有较强的抗干扰性,并能在一个统一的框架下,观测不同稀疏度对跟踪的影响。