公开(公告)号：CN115311504B

公开(公告)日：2023-01-31

申请号：CN202211236327.X

申请日：2022-10-10

Applicant: 之江实验室

Inventor： 苏慧 ,  卢修生 ,  叶越 ,  王瑾

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种基于注意力重定位的弱监督定位方法和装置，将图像切分成图像块并线性投影映射成局部表征，利用网络中第一层至倒数第二层的transformer层的自注意力机制构建类别关联向量；对类别关联向量进行排序和积分图操作，构建重定位二值矩阵；构建掩码transformer层，局部表征输入掩码transformer层中获得分类权重向量；基于分类权重向量对局部表征实现加权和操作，将类别表征和加权和结果一并送入最后一层transformer层；训练过程中，对最后一层transformer层的输出类别表征和图像类别标签构建交叉熵损失函数，进行训练。测试过程中融合类别关联向量和分类权重向量，获得目标检测框信息，实现目标定位。相较于现有技术，本发明充分发挥transformer长程依赖能力，目标定位能力更优。

公开(公告)号：CN115311504A

公开(公告)日：2022-11-08

申请号：CN202211236327.X

申请日：2022-10-10

Applicant: 之江实验室

Inventor： 苏慧 ,  卢修生 ,  叶越 ,  王瑾

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种基于注意力重定位的弱监督定位方法和装置，将图像切分成图像块并线性投影映射成局部表征，利用网络中第一层至倒数第二层的transformer层的自注意力机制构建类别关联向量；对类别关联向量进行排序和积分图操作，构建重定位二值矩阵；构建掩码transformer层，局部表征输入掩码transformer层中获得分类权重向量；基于分类权重向量对局部表征实现加权和操作，将类别表征和加权和结果一并送入最后一层transformer层；训练过程中，对最后一层transformer层的输出类别表征和图像类别标签构建交叉熵损失函数，进行训练。测试过程中融合类别关联向量和分类权重向量，获得目标检测框信息，实现目标定位。相较于现有技术，本发明充分发挥transformer长程依赖能力，目标定位能力更优。