-
公开(公告)号：CN118609173A
公开(公告)日：2024-09-06
申请号：CN202411089728.6
申请日：2024-08-09
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/143 , G06V10/40 , G06V10/74 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/084
Abstract: 本发明提出了一种基于中间模态学习的跨模态行人重识别方法及系统。其中，行人重识别方法包括如下步骤：获取成对的可见光原始图像和红外原始图像；提取可见光原始图像、红外原始图像的中间模态，得到可见光中间模态、红外中间模态；通过空间注意力和通道注意力优化所述可见光原始图像、红外原始图像、可见光中间模态、红外中间模态，输出优化结果；建立损失约束限制所述优化结果，输出识别结果。本发明提出了一个主要由中间模态图片生成器、双重注意力组合块以及特征损失约束组成的中间模态学习网络，具有精度高、还原度高的特点。
-
公开(公告)号：CN118072361B
公开(公告)日：2024-07-12
申请号：CN202410496315.3
申请日：2024-04-24
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V20/52 , G06V20/40 , G06V10/40 , G06V10/74 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06V10/62
Abstract: 本发明公开了一种基于随机游走的小股行人重识别方法及系统，所述方法包括以下步骤：（1）捕捉到的行人视频并进行预处理；（2）将图片通过单目估计算法得到深度图，并对单人深度图计算深度平均值；通过vision transformer得到行人特征，将行人特征通过按深度平均值大小依次构建成具有不同节点的图结构；（3）通过随机游走模块对图进行重构，每添加一个图节点计算该探针图像和图库图像之间的亲和力分数，并计算该组成员的亲和力分数平均值，得到亲和力分数平均值最高的图；（4）将重构的图在图间通过组上下文信息传递，更新图节点特征，结合注意力机制，进行组匹配，预测两组的匹配得分；本发明节约了大量的人力成本和时间成本。
-
公开(公告)号：CN117994823B
公开(公告)日：2024-06-25
申请号：CN202410406482.4
申请日：2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/764 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0455 , G06N3/0464 , G06V10/74
Abstract: 本发明公开了一种基于掩码先验和分层聚合Transformer的遮挡行人重识别方法，包括以下步骤：（1）获取多种数据集（2）构建掩码语义信息提取器；（3）构建用于处理图片信息，进行提取特征的Transformer骨干网络；（4）构建用于提取细粒度部分特征的分层特征聚合模块；（5）构建用于提取判别性全局特征的多特征补偿模块；（6）合并步骤（2）‑（5），构建基于掩码先验以及分层聚合Transformer的遮挡行人重识别框架；（7）构建用于遮挡行人重识别模型的损失函数；（8）加载由IMAGENET训练的预训练权重，利用Occluded‑Duke数据集的训练集对模型进行训练，测试集对得到的模型进行测试，寻找最优模型；本发明引导模型关注非遮挡身体部位以及提取判别性信息用于行人匹配。
-
公开(公告)号：CN117994822B
公开(公告)日：2024-06-14
申请号：CN202410406480.5
申请日：2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0464
Abstract: 本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，包括以下步骤：（1）获取原始图像，划分训练集、验证集和测试集；对训练集中的可见光图像和红外图像进行预处理；（2）利用ResNet50作为骨干网络，添加辅助模态增强模块；（3）将步骤（2）输出的特征继续输入到由ResNet50进行特征提取和融合；（4）将ResNet50最终的输出特征进行全局平均池化和批量归一化，计算局部语义一致性损失；本发明减小可见光与红外之间的模态差异，学习到更多模态共享的身份信息，还能捕获不同感受野的身份信息，实现行人身份特征的充分挖掘。
-
公开(公告)号：CN117994822A
公开(公告)日：2024-05-07
申请号：CN202410406480.5
申请日：2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0464
Abstract: 本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，包括以下步骤：（1）获取原始图像，划分训练集、验证集和测试集；对训练集中的可见光图像和红外图像进行预处理；（2）利用ResNet50作为骨干网络，添加辅助模态增强模块；（3）将步骤（2）输出的特征继续输入到由ResNet50进行特征提取和融合；（4）将ResNet50最终的输出特征进行全局平均池化和批量归一化，计算局部语义一致性损失；本发明减小可见光与红外之间的模态差异，学习到更多模态共享的身份信息，还能捕获不同感受野的身份信息，实现行人身份特征的充分挖掘。
-
Patent Agency Ranking
公开(公告)号：CN117934890B
公开(公告)日：2024-06-11
申请号：CN202410328101.5
申请日：2024-03-21
Applicant: 南京信息工程大学
IPC: G06V10/762 , G06V10/42 , G06V10/44 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明提供基于局部和全局邻居对齐的原型对比图像聚类方法及系统，涉及机器学习和图像处理领域。该方法包括提取原始数据集特征；在特征上执行k‑means初始化聚类中心，获取聚类分配概率；对经过两种不同变换后的数据集进行分组训练直至整个数据集，提取变换后图像数据集特征；获取每个训练批次的原型，并计算原型对比损失；获取变换后特征的全局和局部邻居，并将变换后的特征与邻居对齐，计算邻居对齐损失；优化网络，并更新全局邻居；重复上述步骤，直到满足迭代次数，输出聚类分组结果。本发明方法不仅避免了对比学习中类别冲突的问题，而且使得不同的类在空间中均匀分布；同时，基于局部和全局邻居对齐策略可以获得更丰富的语义信息。
-
公开(公告)号：CN117994823A
公开(公告)日：2024-05-07
申请号：CN202410406482.4
申请日：2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/764 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0455 , G06N3/0464 , G06V10/74
Abstract: 本发明公开了一种基于掩码先验和分层聚合Transformer的遮挡行人重识别方法，包括以下步骤：（1）获取多种数据集（2）构建掩码语义信息提取器；（3）构建用于处理图片信息，进行提取特征的Transformer骨干网络；（4）构建用于提取细粒度部分特征的分层特征聚合模块；（5）构建用于提取判别性全局特征的多特征补偿模块；（6）合并步骤（2）‑（5），构建基于掩码先验以及分层聚合Transformer的遮挡行人重识别框架；（7）构建用于遮挡行人重识别模型的损失函数；（8）加载由IMAGENET训练的预训练权重，利用Occluded‑Duke数据集的训练集对模型进行训练，测试集对得到的模型进行测试，寻找最优模型；本发明引导模型关注非遮挡身体部位以及提取判别性信息用于行人匹配。
-
公开(公告)号：CN117934890A
公开(公告)日：2024-04-26
申请号：CN202410328101.5
申请日：2024-03-21
Applicant: 南京信息工程大学
IPC: G06V10/762 , G06V10/42 , G06V10/44 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明提供基于局部和全局邻居对齐的原型对比图像聚类方法及系统，涉及机器学习和图像处理领域。该方法包括提取原始数据集特征；在特征上执行k‑means初始化聚类中心，获取聚类分配概率；对经过两种不同变换后的数据集进行分组训练直至整个数据集，提取变换后图像数据集特征；获取每个训练批次的原型，并计算原型对比损失；获取变换后特征的全局和局部邻居，并将变换后的特征与邻居对齐，计算邻居对齐损失；优化网络，并更新全局邻居；重复上述步骤，直到满足迭代次数，输出聚类分组结果。本发明方法不仅避免了对比学习中类别冲突的问题，而且使得不同的类在空间中均匀分布；同时，基于局部和全局邻居对齐策略可以获得更丰富的语义信息。
-
公开(公告)号：CN117934891B
公开(公告)日：2024-06-07
申请号：CN202410343857.7
申请日：2024-03-25
Applicant: 南京信息工程大学
IPC: G06V10/762 , G06V10/40 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/042
Abstract: 本发明提供一种基于图结构的图像对比聚类方法及系统，涉及机器学习和图像处理领域。该方法包含以下步骤，获取原始图像数据集，对原始图像数据集进行两种不同的变换，分获取变换后的数据集的特征和对比特征，计算实例级对比损失，获取并更新每个样本的邻居，获取邻接矩阵并加上不同的随机掩码，构建图结构数据，输入到图神经网络聚合特征与其邻居特征，并获得聚类分配，计算簇级对比损失，通过实例级对比损失和簇级对比损失优化特征提取网络、对比网络和图卷积神经网络，重复上述步骤，直到满足迭代次数，输出聚类分组结果；本发明方法不仅能获取图像的语义信息，也能有效挖掘图像数据之间的结构信息。
-
公开(公告)号：CN117934891A
公开(公告)日：2024-04-26
申请号：CN202410343857.7
申请日：2024-03-25
Applicant: 南京信息工程大学
IPC: G06V10/762 , G06V10/40 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/042
Abstract: 本发明提供一种基于图结构的图像对比聚类方法及系统，涉及机器学习和图像处理领域。该方法包含以下步骤，获取原始图像数据集，对原始图像数据集进行两种不同的变换，分获取变换后的数据集的特征和对比特征，计算实例级对比损失，获取并更新每个样本的邻居，获取邻接矩阵并加上不同的随机掩码，构建图结构数据，输入到图神经网络聚合特征与其邻居特征，并获得聚类分配，计算簇级对比损失，通过实例级对比损失和簇级对比损失优化特征提取网络、对比网络和图卷积神经网络，重复上述步骤，直到满足迭代次数，输出聚类分组结果；本发明方法不仅能获取图像的语义信息，也能有效挖掘图像数据之间的结构信息。
-
-
-
-
-
-
-
-
-
Search Results
11
records
(took 0.035 seconds)
