公开(公告)号：CN116342971A

公开(公告)日：2023-06-27

申请号：CN202310174614.0

申请日：2023-02-16

Applicant: 之江实验室 ,  华中科技大学

Inventor： 李特 ,  顾建军 ,  吴连俊 ,  王兴刚

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于稀疏标注数据集的新型目标检测系统，教师检测器在训练期间不回传梯度，而仅在每次训练迭代结束时通过指数滑动平均方式更新参数，由指数滑动平均更新的教师检测器是双输入端口的副教师检测器的平滑版本；教师检测器输入图像是原始图像，即原始图像被馈送到教师检测器以生成教师伪标签集，弱增强和强增强图像被馈送到两个输入端口的副教师检测器以生成原始伪标签集；每个原始伪标签集由教师检测器的输出的伪标签集联合稀疏标注框进行修正和整合，最后用修正整合完的标注框对副教师检测器的预测输出进行监督。本发明还公开了相应的基于稀疏标注数据集的新型目标检测方法。

公开(公告)号：CN113902926B

公开(公告)日：2022-05-31

申请号：CN202111477045.4

申请日：2021-12-06

Applicant: 之江实验室

Inventor： 李特 ,  王世杰 ,  朱世强 ,  顾建军 ,  王兴刚

IPC: G06V10/44 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于自注意力机制的通用图像目标检测方法，该方法是基于DETR模型的改进，其包括对将含边界框标注的训练集图像输入图像特征提取网络，获得图像特征；将图像特征依次通过多头十字交叉注意力模块和多方向交叉注意力模块，获得解码器输出增强目标查询向量；将增强目标查询向量分别通过模型的分类层和回归层得到目标图像物体边界框和物体类别概率；计算网络整体损失对模型进行训练，得到目标检测模型；利用上述模型对待检测图像进行目标检测。本发明相比于DETR模型，在保证目标检测准确的同时，加快模型训练速度，减小模型的计算复杂度，提高模型灵活性与实用性。

公开(公告)号：CN116091774A

公开(公告)日：2023-05-09

申请号：CN202310171401.2

申请日：2023-02-16

Applicant: 之江实验室 ,  华中科技大学

Inventor： 李特 ,  顾建军 ,  朱良辉 ,  邹雅 ,  王兴刚

IPC: G06V10/26 ,  G06V10/774 ,  G06V10/82 ,  G06V20/70 ,  G06N3/0895

Abstract: 本发明公开了一种基于提示学习的弱监督语义分割方法，包括：把图像和通过可学习的提示适配器的类别文本进行编码生成特征嵌入embeddings，然后将两者进行查询query，从而使图像以及其图像级别对应的类别标签作为训练数据；使用注意力进行查询，利用上一步生成的query和图像embeddings结果，添加一个transformer来在图像embeddings和query之间做一个自注意力；在训练过程中计算损失函数进行更新权重，将弱监督语义分割WSSS损失分为两部分:第一部分是seedingloss，第二部分是边界损失。本发明提出的WeakCLIP方法非常简单且高效。本发明还提供了相应的基于提示学习的弱监督语义分割装置。

公开(公告)号：CN113902926A

公开(公告)日：2022-01-07

申请号：CN202111477045.4

申请日：2021-12-06

Applicant: 之江实验室

Inventor： 李特 ,  王世杰 ,  朱世强 ,  顾建军 ,  王兴刚

IPC: G06V10/44 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于自注意力机制的通用图像目标检测方法，该方法是基于DETR模型的改进，其包括对将含边界框标注的训练集图像输入图像特征提取网络，获得图像特征；将图像特征依次通过多头十字交叉注意力模块和多方向交叉注意力模块，获得解码器输出增强目标查询向量；将增强目标查询向量分别通过模型的分类层和回归层得到目标图像物体边界框和物体类别概率；计算网络整体损失对模型进行训练，得到目标检测模型；利用上述模型对待检测图像进行目标检测。本发明相比于DETR模型，在保证目标检测准确的同时，加快模型训练速度，减小模型的计算复杂度，提高模型灵活性与实用性。

公开(公告)号：CN116071553A

公开(公告)日：2023-05-05

申请号：CN202310160328.9

申请日：2023-02-16

Applicant: 之江实验室 ,  华中科技大学

Inventor： 李特 ,  顾建军 ,  朱良辉 ,  李应悦 ,  王兴刚

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06V20/70 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0895 ,  G06N3/084

Abstract: 本发明公开了一种基于朴素Vision Transformer的弱监督语义分割方法，包括：将基于输入图像得到的补丁标记和可学习的类标记输入到transformer编码器中得到特征输出；然后基于输出的补丁标记部分通过重排列和卷积操作得到粗糙CAM，并从编码器的模型参数中提取出自注意力图；接着通过自适应注意力图融合模块对自注意力图进行融合，得到交叉注意力图和补丁自注意力图依次对粗糙CAM进行优化得到最终的细CAM；最后分别基于编码器输出的类标记、粗CAM以及细CAM通过全局池化得到类别预测，与类别标记计算交叉熵损失函数来对网络进行优化；基于梯度截断解码器的在线再训练。本发明还提供了相应的基于朴素Vision Transformer的弱监督语义分割装置。