-
公开(公告)号:CN115063573B
公开(公告)日:2024-08-02
申请号:CN202210671234.3
申请日:2022-06-14
申请人: 湖北工业大学
IPC分类号: G06V10/20 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
摘要: 本发明公开一种基于注意力机制的多尺度目标检测方法,包括步骤1,获取图像数据集;步骤2,对图像数据集进行预处理,并划分训练集、测试集、验证集;步骤3,建立基于注意力机制的多尺度目标检测的目标检测模型,所述目标检测模型包括CSPdarknet53主干网络、SPP池化模块、RP‑PANet特征融合模块、检测头部几个部分,其中,在CSPdarknet53主干网络中添加Coordinate Attention注意力机制,有效的提高对于特征图的提取;步骤4,训练目标检测模型;步骤5,基于训练好的目标检测模型进行目标检测,将待识别数据集图像输入到训练好的目标检测模型中,模型对图像进行分类、输出物体的名称以及识别的置信度,完成识别。与现有技术相比,本发明具有较好的识别效果。
-
公开(公告)号:CN116563751B
公开(公告)日:2024-02-06
申请号:CN202310423904.4
申请日:2023-04-19
申请人: 湖北工业大学
IPC分类号: G06V20/40 , G06V40/70 , G06V10/40 , G06V10/774 , G06V10/764 , G06V10/82 , G06V10/80 , G06N3/0442 , G06N3/08 , G06F18/10 , G06F18/214 , G06F18/24 , G06F18/25
摘要: 本发明提供一种基于注意力机制的多模态情感分析方法及系统,属于深度学习技术领域,包括:对多模态情感分析数据集合进行预处理,得到多模态数据向量;将多模态数据向量输入基于注意力机制的双层双向GRU网络中进行特征提取,得到多模态特征向量;将多模态特征向量输入至低秩张量融合模型中进行特征融合,获得融合后多模态特征;确定融合后多模态特征的情感极性,输出情感分析结果。本发明采用双层双向GRU模型能有效学习视频数据中的文本和音频的时序特征,具有结构简单、学习速度快以及连接(56)对比文件US 2018165554 A1,2018.06.14US 2020302340 A1,2020.09.24US 2021109956 A1,2021.04.15Zhun Liu等.Efficient Low-rankMultimodal Fusion with Modality-SpecificFactors《.arXiv:1806.00064v1》.2018,1-10页.Ruo-Hong Huan等.Video multimodalemotion recognition based on Bi-GRU andattention fusion《.Multimedia Tools andApplications》.2020,8213–8240页.尹春勇等.基于多任务学习的时序多模态情感分析模型《.计算机应用》.2021,1631 - 1639.
-
公开(公告)号:CN116310669A
公开(公告)日:2023-06-23
申请号:CN202211545086.7
申请日:2022-11-21
申请人: 湖北工业大学
IPC分类号: G06V10/80 , G06V10/42 , G06V10/764 , G06N3/045 , G06N3/0464 , G06N3/08
摘要: 本发明公开了一种基于多模态特征提取网络的目标检测方法、系统及设备,首先获取待检测场景内的多模态数据,包括时间戳相关的图像和其他模态文本数据;接着提取其他模态文本数据得到文本语义特征;根据文本语义特征,确定可能存在待检测目标范围;将待检测目标范围在相同时间戳的图像上生成预选框;将生成的预选框输入多模态特征提取网络中,进行特征提取,舍弃偏离预选框的锚框;最后对生成锚框的目标根据分类准确进行分类,确定目标类别,获得检测结果。本发明可以达到保护安全和节省人力的情况下更好的辅助多模态特征提取网络找到目标,在确定范围内检测目标可以提升检测精度,而生成更少的锚框也可以提升检测速度。
-
公开(公告)号:CN115423995A
公开(公告)日:2022-12-02
申请号:CN202210959902.2
申请日:2022-08-11
申请人: 湖北工业大学
摘要: 本发明公开一种轻量化幕墙裂纹目标检测方法及系统、安全预警系统,其中的目标检测方法包括图像收集、图像预处理、模型构建、模型的训练与测试、裂纹检测步骤,通过图像收集步骤收集大量的墙体图像,并进行预处理,然后构建轻量化幕墙裂纹目标检测模型,使用Ghost卷积替换原有网络中的标准卷积,将C3结构中卷积替换为Ghost卷积,从而可以减少计算量,提高计算效率;增加一个CA注意力机制在主干特征提取网络通道数最大的位置,使得网络更加关注有价值的特征,使得提升整个网络的目标检测精度。通过模型的训练与测试得到训练好的模型,最后利用训练好的模型进行裂纹检测,本发明的方法不需要大量的计算单元,在保证效率的同时提高了检测精度。
-
公开(公告)号:CN116310669B
公开(公告)日:2024-02-06
申请号:CN202211545086.7
申请日:2022-11-21
申请人: 湖北工业大学
IPC分类号: G06V10/80 , G06V10/42 , G06V10/764 , G06N3/045 , G06N3/0464 , G06N3/08
摘要: 本发明公开了一种基于多模态特征提取网络的目标检测方法、系统及设备,首先获取待检测场景内的多模态数据,包括时间戳相关的图像和其他模态文本数据;接着提取其他模态文本数据得到文本语义特征;根据文本语义特征,确定可能存在待检测目标范围;将待检测目标范围在相同时间戳的图像上生成预选框;将生成的预选框输入多模态特征提取网络中,进行特征提取,舍弃偏离预选框的锚框;最后对生成锚框的目标根据分类准确进行分类,确定目标类别,获得检测结果。本发明可以达到保护安全和节省人力的情况下更好的辅助多模态特征提取网络找到目标,在确定范围内检测目标可以提升检测精度,而生成更少的锚框也可以提升检测速度。
-
公开(公告)号:CN116563751A
公开(公告)日:2023-08-08
申请号:CN202310423904.4
申请日:2023-04-19
申请人: 湖北工业大学
IPC分类号: G06V20/40 , G06V40/70 , G06V10/40 , G06V10/774 , G06V10/764 , G06V10/82 , G06V10/80 , G06N3/0442 , G06N3/08 , G06F18/10 , G06F18/214 , G06F18/24 , G06F18/25
摘要: 本发明提供一种基于注意力机制的多模态情感分析方法及系统,属于深度学习技术领域,包括:对多模态情感分析数据集合进行预处理,得到多模态数据向量;将多模态数据向量输入基于注意力机制的双层双向GRU网络中进行特征提取,得到多模态特征向量;将多模态特征向量输入至低秩张量融合模型中进行特征融合,获得融合后多模态特征;确定融合后多模态特征的情感极性,输出情感分析结果。本发明采用双层双向GRU模型能有效学习视频数据中的文本和音频的时序特征,具有结构简单、学习速度快以及连接的注意力层能更很好的提取重要特征的特点,且采用低秩张量融合模型能降低多模态数据维度,提升运算速率和判断准确率。
-
公开(公告)号:CN116386032A
公开(公告)日:2023-07-04
申请号:CN202310389209.0
申请日:2023-04-12
申请人: 湖北工业大学
IPC分类号: G06V20/68 , G06V10/10 , G06V10/20 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
摘要: 本发明公开了一种基于轻注意力的蔬菜检测分类方法、装置及系统,其中的方法首先采集待检测蔬菜图片;并对采集的待检测蔬菜图片进行预处理;然后构建改进的YOLO网络模型,改进的YOLO网络模型使用CBAM注意力机制替换原始YOLOv7网络的骨干部分初始的两个传统卷积层,采用标准卷积Conv结合CBAM注意力机制从空间和通道两个维度进行特征提取;接着将预先标注好的蔬菜图像数据划分出的训练集输入构建的改进的YOLO网络模型进行训练,得到训练好的模型;最后利用训练好的模型对待检测蔬菜图片进行检测,标出锚框并且进行分类。本发明可以提高分类的精确度,并保证订单的准确性。
-
公开(公告)号:CN116206222A
公开(公告)日:2023-06-02
申请号:CN202310129387.X
申请日:2023-02-16
申请人: 湖北工业大学
IPC分类号: G06V20/17 , G06V10/40 , G06V10/764 , G06V10/766 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0464
摘要: 本发明提供了一种基于轻量化目标检测模型的输电线路故障检测方法及系统,方法包括输电线图像拍摄步骤,输电线图像处理步骤,输电线路巡检图像检测步骤,输电线缺陷识别分类步骤。其中输电线图像拍摄步骤为拍摄待检测输电线图像,输电线图像处理步骤为对拍摄的输电线图像进行数据处理,保证图像可以被轻量化目标检测网络识别,输电线路巡检图像检测步骤是根据训练的模型,检测待检测输电线图像是否存在缺陷和损伤,输电线缺陷识别分类步骤是在输电线路巡检图像检测步骤后若发现有缺陷或损伤,对缺陷或损伤进行分类和空间定位。本方法优势在于使用了一种改良后的轻量化目标检测模型,可以实现低计算代价和消耗的非接触性和实时性的检测效果。
-
公开(公告)号:CN115063573A
公开(公告)日:2022-09-16
申请号:CN202210671234.3
申请日:2022-06-14
申请人: 湖北工业大学
IPC分类号: G06V10/20 , G06V10/774 , G06V10/82 , G06N3/04 , G06N3/08
摘要: 本发明公开一种基于注意力机制的多尺度目标检测方法,包括步骤1,获取图像数据集;步骤2,对图像数据集进行预处理,并划分训练集、测试集、验证集;步骤3,建立基于注意力机制的多尺度目标检测的目标检测模型,所述目标检测模型包括CSPdarknet53主干网络、SPP池化模块、RP‑PANet特征融合模块、检测头部几个部分,其中,在CSPdarknet53主干网络中添加Coordinate Attention注意力机制,有效的提高对于特征图的提取;步骤4,训练目标检测模型;步骤5,基于训练好的目标检测模型进行目标检测,将待识别数据集图像输入到训练好的目标检测模型中,模型对图像进行分类、输出物体的名称以及识别的置信度,完成识别。与现有技术相比,本发明具有较好的识别效果。
-
-
-
-
-
-
-
-