一种基于微调CLIP的违规户外广告识别方法

    公开(公告)号:CN117765299A

    公开(公告)日:2024-03-26

    申请号:CN202311615127.X

    申请日:2023-11-28

    申请人: 淮阴工学院

    摘要: 本发明涉及多模态领域,公开了一种基于微调CLIP的违规户外广告识别方法,获取违规户外广告图像数据,制作数据集并分为训练集A、B和验证集;搭建微调后的CLIP网络模型;读取训练集A至搭建的网络模型中,学习每个广告类别的文本特征,训练结束时保存模型的状态字典并命名为prompt.pth;读取训练集B至搭建的网络模型中,利学习到的文本特征和训练集B中的图像特征做相似度对比,以此来微调CLIP模型的图像编码器,保存训练过程中准确率最高的模型参数,将其文件命名best.pth;读取户外广告的待检测图像至微调后的CLIP网络模型中,加载2个权重文件至模型中进行推理检测,判定是否违规。与现有技术相比,本发明有效提高了模型对违规户外广告的图像分类能力。

    一种基于EIEM边缘特征提取的钢铁缺陷检测方法

    公开(公告)号:CN118823473A

    公开(公告)日:2024-10-22

    申请号:CN202410959754.3

    申请日:2024-07-17

    申请人: 淮阴工学院

    摘要: 本发明公开一种基于EIEM边缘特征提取的钢铁缺陷检测方法,首先设计一个边缘信息提取模块EIEM替换C2f中的BottleNeck,该模块采用sobel算子来提取特征的边缘信息并与整体空间信息进行特征融合,获得更加丰富的语义信息;其次,替换上采样方法为CARAFE,该方法通过编码器能够学习到适合自己特征信息的卷积核,以指导更加精确的特征重建;最后,将原来的检测头换成了动态统一的检测头(DyHead),以应对不同缺陷的尺寸和变换位置,而且正因为这个检测头,在不同的尺寸、位置、任务中,都能动态的适应,不需要改变检测头。与现有技术相比,本发明克服了现有技术中鲁棒性差、引入噪声导致缺陷检测准确率低的问题,利用改进YOLOv8s模型架构,具有准确性高,适用广度大的优点。

    一种基于迁移学习和改进YOLOv5电力工人安全帽佩戴检测方法

    公开(公告)号:CN117275041A

    公开(公告)日:2023-12-22

    申请号:CN202311286008.4

    申请日:2023-09-28

    申请人: 淮阴工学院

    摘要: 本发明公开了一种基于迁移学习和改进YOLOv5电力工人安全帽佩戴检测方法,具体包含以下步骤:构建施工场景下的安全帽佩戴检测数据集A,构建电力作业场景下的安全帽佩戴检测数据集B;改进电力作业场景下安全帽佩戴检测模型YOLOv5,将YOLOv5主干网络替换为基于动态卷积ODConv的ODConv_MobileNetv2主干网络,提取小目标安全帽特征信息效率大幅上升并减少额外的计算量参数;在颈部网络结构中,添加基于跨空间学习的高效多尺度注意力EMA模块,减少参数量的同时提升小目标安全帽佩戴检测的精度;采用一种基于最小点距离的IoU损失MPDIoU作为改进YOLOv5的损失函数,本发明可以提升小样本电力作业场景数据集下的小目标安全帽佩戴检测精度,降低电力作业场景下的安全帽佩戴检测漏检和误检问题。