-
公开(公告)号:CN112580614B
公开(公告)日:2021-06-08
申请号:CN202110210499.9
申请日:2021-02-25
申请人: 之江实验室
摘要: 本发明公开了一种基于注意力机制的手绘草图识别方法,该方法包括将原始手绘草图输入到一个深度卷积神经网络中,得到最后一个卷积层输出的特征图;将特征图输入到一个通道注意力模块中,得到基于通道注意力优化后的特征图;训练一个用于预测手绘草图垂直翻转的分类网络,将原始手绘草图输入到训练好的分类网络中,得到垂直翻转空间注意力图;联合基于通道注意力优化后的特征图和垂直翻转空间注意力图,计算得到垂直翻转空间注意力优化后的特征图;最后经过全连接层输出识别的结果。本发明的优点:采用通道注意力和垂直翻转空间注意力对卷积神经网络的特征进行优化,能够使网络关注于学习更有判别力的部分,从而有效提高手绘草图的识别精度。
-
公开(公告)号:CN114972976A
公开(公告)日:2022-08-30
申请号:CN202210902801.1
申请日:2022-07-29
申请人: 之江实验室
摘要: 本发明公开了基于频域自注意力机制的夜间目标检测、训练方法及装置,采用具有夜间图像检测标签的开源数据集训练检测网络,首先将输入图像进行预处理,使其从RGB转化为YUV通道,分别将三个通道的图像划分成多个区块;对于三个通道的各个区块,分别进行DCT离散余弦变换;将各个区块中属于同一频域的信息依据其原本的空间关系存入同一通道中,生成数个代表不同频域的通道;将所有频域通道输入自注意力网络模块,该模块通过计算各通道之间的可缩放点积自注意力,输出每个通道动态加权后的数值,再将其分别输入相同的多层感知器MLP;将输出结果输入检测网络中,最终获得图像的检测结果。
-
公开(公告)号:CN113255793A
公开(公告)日:2021-08-13
申请号:CN202110607551.4
申请日:2021-06-01
申请人: 之江实验室
摘要: 本发明公开了一种基于对比学习的细粒度舰船识别方法,采集并标注舰船分类数据集,并对每张图像采用几种不同的数据增强方式获得图像集合,依次组合成同类与非同类图像集合对,交替输入孪生分类网络进行图像特征提取与分类,通过三个损失函数分别提取图像的等变性特征、判别性特征以及多维融合特征,最终实现同类别舰船分类相同,不同类别舰船之间可有效区分的效果。本发明弥补了舰船类别分布不平衡、样本规模较小的实际问题,通过对比学习有效提升了细粒度分类的性能,通过提取等变特征提高了模型的泛化性,能适用于实战多变场景。
-
公开(公告)号:CN112580614A
公开(公告)日:2021-03-30
申请号:CN202110210499.9
申请日:2021-02-25
申请人: 之江实验室
摘要: 本发明公开了一种基于注意力机制的手绘草图识别方法,该方法包括将原始手绘草图输入到一个深度卷积神经网络中,得到最后一个卷积层输出的特征图;将特征图输入到一个通道注意力模块中,得到基于通道注意力优化后的特征图;训练一个用于预测手绘草图垂直翻转的分类网络,将原始手绘草图输入到训练好的分类网络中,得到垂直翻转空间注意力图;联合基于通道注意力优化后的特征图和垂直翻转空间注意力图,计算得到垂直翻转空间注意力优化后的特征图;最后经过全连接层输出识别的结果。本发明的优点:采用通道注意力和垂直翻转空间注意力对卷积神经网络的特征进行优化,能够使网络关注于学习更有判别力的部分,从而有效提高手绘草图的识别精度。
-
公开(公告)号:CN114972976B
公开(公告)日:2022-12-20
申请号:CN202210902801.1
申请日:2022-07-29
申请人: 之江实验室
摘要: 本发明公开了基于频域自注意力机制的夜间目标检测、训练方法及装置,采用具有夜间图像检测标签的开源数据集训练检测网络,首先将输入图像进行预处理,使其从RGB转化为YUV通道,分别将三个通道的图像划分成多个区块;对于三个通道的各个区块,分别进行DCT离散余弦变换;将各个区块中属于同一频域的信息依据其原本的空间关系存入同一通道中,生成数个代表不同频域的通道;将所有频域通道输入自注意力网络模块,该模块通过计算各通道之间的可缩放点积自注意力,输出每个通道动态加权后的数值,再将其分别输入相同的多层感知器MLP;将输出结果输入检测网络中,最终获得图像的检测结果。
-
公开(公告)号:CN113657561B
公开(公告)日:2022-03-18
申请号:CN202111220897.5
申请日:2021-10-20
申请人: 之江实验室
IPC分类号: G06K9/62 , G06V10/764 , G06V10/774 , G06N3/08
摘要: 本发明公开了一种基于多任务解耦学习的半监督夜间图像分类方法,将白天带标签的样本与夜间无标签的样本,一同输入特征提取网络,其中白天样本提取的特征向量输入分类网络头,采用交叉熵损失函数进行监督;夜间样本提取的特征向量,首先输入分类网络头获得伪标签,再根据伪标签构造正负样本对后输入自监督网络头,采用角度对比损失函数进行监督训练;完成模型多任务训练后,将夜间数据集中少量带标签的样本输入特征提取网络与分类网络头,进行迭代自蒸馏学习,最终实现夜间数据集可以有效分类的效果。
-
公开(公告)号:CN112257683A
公开(公告)日:2021-01-22
申请号:CN202011417659.9
申请日:2020-12-07
申请人: 之江实验室
摘要: 本发明公开了一种面向车辆运行轨迹监测的跨镜追踪方法,该方法包括采用生成对抗网络扩充车辆视频数据集,并在扩充后的数据集上训练基于轻量化卷积神经网络的车辆检测模型;将车辆检测模型部署到所有摄像头上,并创建摄像头间的位置关联字典;采用车辆检测模型提取摄像头中拍摄到的车辆的表观特征及在镜头内的连续位置,根据车辆的移动方向预测出车辆可能出现的下一组摄像头;将车辆的表观特征广播至下一组摄像头中,并根据表观特征在下一组摄像头中对车辆进行追踪,最终完成车辆的跨镜追踪。本发明所采用的跨镜追踪方法,能够实现对车辆的运行轨迹进行实时监测,当发现被监测车辆脱离预设路线时发出预警,可以协助监管人员快速排查被监测车辆。
-
公开(公告)号:CN111507317A
公开(公告)日:2020-08-07
申请号:CN202010613767.7
申请日:2020-06-30
申请人: 之江实验室
摘要: 本发明公开了一种基于视觉的旋转设备作业手套佩戴检测方法及系统,包括:获取生产车间中实时生成的监控视频图像,在监控视频图像中绘制凸多边形规则框,使得整个旋转设备落于规则框内;基于人体目标检测神经网络模型对监控视频图像进行人体目标检测,获得目标人体;基于人体骨骼关键点检测神经网络模型对目标人体进行人体关键点检测,获得处于规则框内的目标人体的双手关键点;对双手关键点进行区域分割,得到感兴趣区域,并对感兴趣区域进行初始分类;对初始分类后的感兴趣区域进行跟踪,并通过联合投票算法得到感兴趣区域的最终分类结果。本发明可以降低漏检,提高手套检测及分类的准确率,并通过多线程流水线处理模式降低整个处理过程的耗时。
-
公开(公告)号:CN113657561A
公开(公告)日:2021-11-16
申请号:CN202111220897.5
申请日:2021-10-20
申请人: 之江实验室
摘要: 本发明公开了一种基于多任务解耦学习的半监督夜间图像分类方法,将白天带标签的样本与夜间无标签的样本,一同输入特征提取网络,其中白天样本提取的特征向量输入分类网络头,采用交叉熵损失函数进行监督;夜间样本提取的特征向量,首先输入分类网络头获得伪标签,再根据伪标签构造正负样本对后输入自监督网络头,采用角度对比损失函数进行监督训练;完成模型多任务训练后,将夜间数据集中少量带标签的样本输入特征提取网络与分类网络头,进行迭代自蒸馏学习,最终实现夜间数据集可以有效分类的效果。
-
公开(公告)号:CN112990371B
公开(公告)日:2021-09-10
申请号:CN202110459160.2
申请日:2021-04-27
申请人: 之江实验室
摘要: 本发明属于计算机视觉识别技术领域,涉及一种基于特征扩增的无监督夜间图像分类方法。采用具有白天图像分类标签的公开数据集训练分类网络,经分类网络提取输入图像的特征向量,并计算各类别的特征均值与协方差矩阵;将无标签的夜间图像输入分类网络获得该图像的伪标签,根据伪标签计算夜间图像各类别在特征空间的特征均值与协方差矩阵;对同类别的白天、夜间图像获取的协方差矩阵进行加权平均获得最终协方差矩阵;根据各类别夜间图像特征均值和加权平均后的协方差矩阵进行特征采样;将采样的特征值与原有特征值共同重新训练分类网络。本发明通过学习有标签的白天图像的特征分布,在特征层面对夜间数据进行扩增,从而实现对夜间图像的无监督分类。
-
-
-
-
-
-
-
-
-