一种针对噪声关联的自丢弃和双重权重方法

    公开(公告)号:CN119478460A

    公开(公告)日:2025-02-18

    申请号:CN202411554494.8

    申请日:2024-11-04

    Applicant: 河海大学

    Abstract: 本发明涉及一种针对噪声关联的自丢弃和双重权重方法,方法涉及图文匹配领域。方法包括:将噪声数据集中的图文对输入模型进行相似度计算,选择相似度图文对作为干净数据集;使用干净数据集为数据集中的样本构建评估条目获得记忆库;对噪声数据集中的图文对进行相似度计算,选择恰当的阈值对低相似度的样本进行丢弃以生成部分数据集;根据计算得到的图文对相似度使用高斯混合模型进行拟合得到置信度权重;通过复制参数模型参数创建孪生模型,使用孪生模型对部分数据集中的图文对进行训练;使用记忆库评估孪生模型训练前后的性能变化以得到重要性权重;模型使用置信度权重和重要性权重对部分数据集中的数据进行加权并训练。

    一种基于视觉-语言模型知识蒸馏的水下目标检测方法

    公开(公告)号:CN119445353A

    公开(公告)日:2025-02-14

    申请号:CN202411570471.6

    申请日:2024-11-06

    Applicant: 河海大学

    Abstract: 本发明公开了一种基于视觉‑语言模型知识蒸馏的水下目标检测方法。随着视觉‑语言大模型的不断成熟,其强大的视觉特征提取能力和文本对齐能力已广泛应用于深度学习领域。该方法首先收集并融合多个公开的水下数据集,并对数据进行清理和预处理,以构建一个丰富且高质量的训练数据集。其次引入视觉‑语言模型,在大模型微调阶段,通过图像和文本对齐进行特征提取和细粒度微调,有效捕捉图像与文本之间的关联,从而生成更为准确的特征表示。最后,在知识蒸馏阶段,该方法采用教师网络和学生网络进行特征迁移。教师网络从微调后的主干网络中获取精细特征,通过均方误差损失函数将这些知识传递给学生网络,从而提升学生网络的泛化能力和检测性能,最终实现水下目标的鲁棒检测。本发明充分利用视觉‑语言模型和知识蒸馏技术,增强水下目标特征,使模型能够学习到鲁棒的目标特征,提高检测的鲁棒性。

Patent Agency Ranking