公开(公告)号：CN117994823B

公开(公告)日：2024-06-25

申请号：CN202410406482.4

申请日：2024-04-07

申请人： 南京信息工程大学

发明人： 张国庆 ,  杨艳 ,  张家伟 ,  董仕豪 ,  郑钰辉

IPC分类号： G06V40/10 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V10/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06V10/74

摘要： 本发明公开了一种基于掩码先验和分层聚合Transformer的遮挡行人重识别方法，包括以下步骤：（1）获取多种数据集（2）构建掩码语义信息提取器；（3）构建用于处理图片信息，进行提取特征的Transformer骨干网络；（4）构建用于提取细粒度部分特征的分层特征聚合模块；（5）构建用于提取判别性全局特征的多特征补偿模块；（6）合并步骤（2）‑（5），构建基于掩码先验以及分层聚合Transformer的遮挡行人重识别框架；（7）构建用于遮挡行人重识别模型的损失函数；（8）加载由IMAGENET训练的预训练权重，利用Occluded‑Duke数据集的训练集对模型进行训练，测试集对得到的模型进行测试，寻找最优模型；本发明引导模型关注非遮挡身体部位以及提取判别性信息用于行人匹配。

公开(公告)号：CN117994822B

公开(公告)日：2024-06-14

申请号：CN202410406480.5

申请日：2024-04-07

申请人： 南京信息工程大学

发明人： 张国庆 ,  汪海蕊 ,  郑钰辉 ,  张家伟 ,  董仕豪

IPC分类号： G06V40/10 ,  G06V10/80 ,  G06V10/82 ,  G06V10/40 ,  G06N3/0464

摘要： 本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，包括以下步骤：（1）获取原始图像，划分训练集、验证集和测试集；对训练集中的可见光图像和红外图像进行预处理；（2）利用ResNet50作为骨干网络，添加辅助模态增强模块；（3）将步骤（2）输出的特征继续输入到由ResNet50进行特征提取和融合；（4）将ResNet50最终的输出特征进行全局平均池化和批量归一化，计算局部语义一致性损失；本发明减小可见光与红外之间的模态差异，学习到更多模态共享的身份信息，还能捕获不同感受野的身份信息，实现行人身份特征的充分挖掘。

公开(公告)号：CN117994822A

公开(公告)日：2024-05-07

申请号：CN202410406480.5

申请日：2024-04-07

申请人： 南京信息工程大学

发明人： 张国庆 ,  汪海蕊 ,  郑钰辉 ,  张家伟 ,  董仕豪

IPC分类号： G06V40/10 ,  G06V10/80 ,  G06V10/82 ,  G06V10/40 ,  G06N3/0464

摘要： 本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，包括以下步骤：（1）获取原始图像，划分训练集、验证集和测试集；对训练集中的可见光图像和红外图像进行预处理；（2）利用ResNet50作为骨干网络，添加辅助模态增强模块；（3）将步骤（2）输出的特征继续输入到由ResNet50进行特征提取和融合；（4）将ResNet50最终的输出特征进行全局平均池化和批量归一化，计算局部语义一致性损失；本发明减小可见光与红外之间的模态差异，学习到更多模态共享的身份信息，还能捕获不同感受野的身份信息，实现行人身份特征的充分挖掘。

公开(公告)号：CN117152632A

公开(公告)日：2023-12-01

申请号：CN202311131765.4

申请日：2023-09-04

申请人： 南京信息工程大学

发明人： 张晓帆 ,  郑钰辉

IPC分类号： G06V20/13 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

摘要： 本发明公开了一种基于混合注意力和位置编码的遥感图像场景分类方法，通过采用普通卷积网络提取原图像特征信息；然后，针对最后一阶段特征图依次引入通道注意力和空间注意力对特征图进行注意力激发，提取图像局部特征；接着，分别通过6个包含条件位置编码和多头自注意力模块的变换器模块以及3个变换器模块，其中，基于移位窗口设计的自注意力在非重叠的局部窗口中计算自注意力，实现层级特征提取；可以更好地建立长距离全局依赖关系，最后进入平均池化层和全连接层输出最终预测结果。并通过在三个公开遥感场景数据集上的实验证明了它的稳健性、有效性。

公开(公告)号：CN117132943A

公开(公告)日：2023-11-28

申请号：CN202311362168.2

申请日：2023-10-20

申请人： 南京信息工程大学

发明人： 魏新池 ,  郑钰辉

IPC分类号： G06V20/52 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06Q50/26

摘要： 本发明公开了一种安全帽佩戴检测方法、装置、系统及存储介质，属于图像处理技术领域，方法包括：构建安全帽佩戴数据集；根据所述安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型；将待测数据输入至训练好的安全帽佩戴检测模型进行检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，获取安全帽佩戴检测结果；其中，所述安全帽佩戴检测模型是根据预获取的YOLOv5s模型改进获取的。该方法能够缓解目标遮挡问题，提高安全帽佩戴检测的精度。

公开(公告)号：CN117011342A

公开(公告)日：2023-11-07

申请号：CN202311030290.X

申请日：2023-10-07

申请人： 南京信息工程大学

发明人： 徐晗 ,  郑钰辉

IPC分类号： G06T7/246 ,  G06T7/207 ,  G06V20/40 ,  G06V10/42 ,  G06V10/80 ,  G06V10/82 ,  G06V10/54 ,  G06V10/74 ,  G06V10/62 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

摘要： 本发明公开了一种注意力增强的时空Transformer单目标跟踪方法，首先，使用主干网络提取图像特征；而后将提取的特征进行预处理，并输入到编码增强层，通过增强的自注意力机制来强化原始的特征信息；接着，解码器层会使用目标定位和编码增强层的输出作为输入，计算特征的相似度分数，并输出关联概率图；接着使用多步动态更新策略，判断是否更新动态模板与源域模板图像；最后预测头通过计算角点概率分布的期望得到预测框坐标，画出目标位置。本发明使用的网络完全基于Transformer架构，并对编码层的自注意力机制进行了增强，抑制关联计算导致的噪声和模糊；使用位置嵌入编码和动态更新模板分别提供全局的时间、空间线索。

公开(公告)号：CN116958688A

公开(公告)日：2023-10-27

申请号：CN202310935499.4

申请日：2023-07-28

申请人： 南京信息工程大学

发明人： 李轩慧 ,  郑钰辉

IPC分类号： G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于YOLOv8网络的目标检测方法及系统，属于图像处理技术领域，包括：采集待检测区域的实时监测图像，将实时监测图像输入至预先训练好的目标检测模型，获得目标检测结果；所述目标检测模型的训练过程包括：利用训练数据集对目标检测模型进行训练，所述目标检测模型包括特征提取网络CSPDarknet53、注意力机制模块SimAM、加强特征提取网PAN‑FPN、EFB模块和检测层；根据训练检测结果和目标真实标签计算预测损失，并利用预测损失对目标检测模型进行优化，重复迭代直至达到设定的迭代次数输出训练好的目标检测模型；本发明能够保证检测速度的实时性，同时充分提取浅层信息，加强对小目标的检测效果，进一步提高了图像检测精度。

公开(公告)号：CN114841859A

公开(公告)日：2022-08-02

申请号：CN202210463442.4

申请日：2022-04-28

申请人： 南京信息工程大学

发明人： 黄为伟 ,  郑钰辉

IPC分类号： G06T3/40 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于轻量神经网络和Transformer的单图像超分辨率重建方法。首先，本发明利用低频特征提取模块提取低分辨率图像的低频特征图，其次，将特征图分块输入深度可分离卷积模块与Transformer相结合的框架中，提取图像的高频纹理细节特征，最后，将低频特征图和高频特征图，经跳跃连接输出高分辨率图像。此方法能够实现低分辨率图像的超分辨率重建，得到细节丰富、纹理清晰、空间分辨率高的高分辨率图像。

公开(公告)号：CN114782265A

公开(公告)日：2022-07-22

申请号：CN202210397765.8

申请日：2022-04-15

申请人： 南京信息工程大学

发明人： 罗海银 ,  郑钰辉

IPC分类号： G06T5/00 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于对抗多尺度与残差多通道空间注意力的图像修复方法，首先，将初始破损图像进行卷积操作获得特征图对其通道进行平均拆分成四个特征图，将其分别输入残差多通道空间融合注意力生成器重构输出完整粗略修复图像；其次，通过结合残差多尺度空间注意力编码器和多尺度解码器对输入粗略修复图像重构获得不同尺度的精细修复图像；最后，分别将不同尺度的精细修复图像输入多尺度鉴别器中，判断不同尺度的修复图像是否为真，以此判断修复图像不同尺度的纹理和语义一致性。本发明使得缺失区域与已知区域更加平滑进而获得更加精细和语义一致的修复图像，使得图像在整体和局部上都保持一致性。

公开(公告)号：CN105551005B

公开(公告)日：2018-12-04

申请号：CN201511023164.7

申请日：2015-12-30

申请人： 南京信息工程大学

发明人： 张建伟 ,  贺妍斐 ,  郑钰辉 ,  王顺凤 ,  朱节中

IPC分类号： G06T5/00 ,  G06T5/20

摘要： 本发明公开了一种耦合了梯度保真项的总变差模型快速图像复原方法，针对耦合了梯度保真项的TV模型，利用分裂算法以交替最小化的方式求解该模型，最终实现图像快速复原。本发明包括变换模型步骤，得到无约束的变换模型步骤，离散化模型步骤，分解模型步骤。本发明提供的图像复原算法大大缩短了消耗时间，实现了图像的快速复原，速度提升约为现有梯度下降法的5倍，性价比高。