公开(公告)号：CN116310669B

公开(公告)日：2024-02-06

申请号：CN202211545086.7

申请日：2022-11-21

申请人： 湖北工业大学

发明人： 吴珺 ,  董佳明 ,  聂万宇 ,  吴俊伟 ,  王江鹏 ,  叶志伟

IPC分类号： G06V10/80 ,  G06V10/42 ,  G06V10/764 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于多模态特征提取网络的目标检测方法、系统及设备，首先获取待检测场景内的多模态数据，包括时间戳相关的图像和其他模态文本数据；接着提取其他模态文本数据得到文本语义特征；根据文本语义特征，确定可能存在待检测目标范围；将待检测目标范围在相同时间戳的图像上生成预选框；将生成的预选框输入多模态特征提取网络中，进行特征提取，舍弃偏离预选框的锚框；最后对生成锚框的目标根据分类准确进行分类，确定目标类别，获得检测结果。本发明可以达到保护安全和节省人力的情况下更好的辅助多模态特征提取网络找到目标，在确定范围内检测目标可以提升检测精度，而生成更少的锚框也可以提升检测速度。

公开(公告)号：CN116563751A

公开(公告)日：2023-08-08

申请号：CN202310423904.4

申请日：2023-04-19

申请人： 湖北工业大学

发明人： 吴珺 ,  郑欣丽 ,  袁子健 ,  王江鹏 ,  吴俊伟 ,  聂万宇

IPC分类号： G06V20/40 ,  G06V40/70 ,  G06V10/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0442 ,  G06N3/08 ,  G06F18/10 ,  G06F18/214 ,  G06F18/24 ,  G06F18/25

摘要： 本发明提供一种基于注意力机制的多模态情感分析方法及系统，属于深度学习技术领域，包括：对多模态情感分析数据集合进行预处理，得到多模态数据向量；将多模态数据向量输入基于注意力机制的双层双向GRU网络中进行特征提取，得到多模态特征向量；将多模态特征向量输入至低秩张量融合模型中进行特征融合，获得融合后多模态特征；确定融合后多模态特征的情感极性，输出情感分析结果。本发明采用双层双向GRU模型能有效学习视频数据中的文本和音频的时序特征，具有结构简单、学习速度快以及连接的注意力层能更很好的提取重要特征的特点，且采用低秩张量融合模型能降低多模态数据维度，提升运算速率和判断准确率。

公开(公告)号：CN116386032A

公开(公告)日：2023-07-04

申请号：CN202310389209.0

申请日：2023-04-12

申请人： 湖北工业大学

发明人： 吴珺 ,  王佳宝 ,  袁子健 ,  王江鹏 ,  吴俊伟 ,  聂万宇

IPC分类号： G06V20/68 ,  G06V10/10 ,  G06V10/20 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于轻注意力的蔬菜检测分类方法、装置及系统，其中的方法首先采集待检测蔬菜图片；并对采集的待检测蔬菜图片进行预处理；然后构建改进的YOLO网络模型，改进的YOLO网络模型使用CBAM注意力机制替换原始YOLOv7网络的骨干部分初始的两个传统卷积层，采用标准卷积Conv结合CBAM注意力机制从空间和通道两个维度进行特征提取；接着将预先标注好的蔬菜图像数据划分出的训练集输入构建的改进的YOLO网络模型进行训练，得到训练好的模型；最后利用训练好的模型对待检测蔬菜图片进行检测，标出锚框并且进行分类。本发明可以提高分类的精确度，并保证订单的准确性。

公开(公告)号：CN114722202B

公开(公告)日：2024-07-26

申请号：CN202210369747.9

申请日：2022-04-08

申请人： 湖北工业大学

发明人： 吴珺 ,  朱天亮 ,  吴一帆 ,  郑欣丽 ,  王春枝

IPC分类号： G06F16/35 ,  G06N3/0442 ,  G06N3/049 ,  G06N3/084

摘要： 本发明公开了一种基于双向双层注意力LSTM网络的多模态情感分类方法及系统，首先多模态数据特征的选取；然后对于音频数据选择双层的单向LSTM模型，用于抽取音频特征，对于文本和视频信息，选用TBA‑LSTM(Two‑layerBILSTM based on Attention)模型进行特征抽取；接着将抽取后的特征进行张量融合的方式；最后使用注意力机制来进行多模态数据的分类问题。本发现相对于一些其他的传统模型(LSTM，TFN，MFN，MARN等等)，在公共数据集上CMU‑MOSI上，其精度和F1_Score均有显著程度的提升，并且其深层次的特征抽取能力更强。

公开(公告)号：CN114494861B

公开(公告)日：2024-04-26

申请号：CN202210019906.2

申请日：2022-01-10

申请人： 湖北工业大学

发明人： 吴珺 ,  朱嘉辉 ,  董佳明 ,  郑欣丽 ,  袁子健

IPC分类号： G06V20/10 ,  G06N3/0464 ,  G06N3/084 ,  G06V10/25 ,  G06V10/774 ,  G06V10/762 ,  G06V10/82

摘要： 本发明提出了一种基于多参数优化YOLOV4网络的飞机目标检测方法。引入多幅遥感飞机图像构建飞机图像训练集，人工标记训练集中每幅遥感飞机图像中的外接矩形框、中心点坐标、外接矩形框的宽度、高度、以及飞机类别；将飞机图像中的外接矩形框通过K‑means++算法进行聚类，得到YOLOv4网络的锚框参数值；结合飞机图像中外接矩形框、中心点坐标、外接矩形框的宽度、高度、以及飞机类别构建损失函数模型；将采集的飞机遥感图像输入至优化后多参数优化YOLOV4网络预测，得到预测飞机外接矩形框以及对应的飞机类别。本发明通过轻量化的模型，实现对于飞机物体的快速检测，提高了对于飞机目标识别的准确性。本发明提高工作人员的检测效率以及对于遥感图像任务的快速检测。

公开(公告)号：CN116206222A

公开(公告)日：2023-06-02

申请号：CN202310129387.X

申请日：2023-02-16

申请人： 湖北工业大学

发明人： 吴珺 ,  董佳明 ,  郑欣丽 ,  聂万宇 ,  王江鹏 ,  王春枝

IPC分类号： G06V20/17 ,  G06V10/40 ,  G06V10/764 ,  G06V10/766 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464

摘要： 本发明提供了一种基于轻量化目标检测模型的输电线路故障检测方法及系统，方法包括输电线图像拍摄步骤，输电线图像处理步骤，输电线路巡检图像检测步骤，输电线缺陷识别分类步骤。其中输电线图像拍摄步骤为拍摄待检测输电线图像，输电线图像处理步骤为对拍摄的输电线图像进行数据处理，保证图像可以被轻量化目标检测网络识别，输电线路巡检图像检测步骤是根据训练的模型，检测待检测输电线图像是否存在缺陷和损伤，输电线缺陷识别分类步骤是在输电线路巡检图像检测步骤后若发现有缺陷或损伤，对缺陷或损伤进行分类和空间定位。本方法优势在于使用了一种改良后的轻量化目标检测模型，可以实现低计算代价和消耗的非接触性和实时性的检测效果。

公开(公告)号：CN115344621A

公开(公告)日：2022-11-15

申请号：CN202210797654.6

申请日：2022-07-06

申请人： 湖北工业大学 ,  武汉卓尔信息科技有限公司

发明人： 王春枝 ,  邢绍文 ,  高榕 ,  严灵毓 ,  吴珺 ,  周显敬 ,  刘虎

IPC分类号： G06F16/2458 ,  G06K9/62 ,  G06N3/04 ,  G06F16/9537

摘要： 本发明涉及异常检测技术领域，特别是涉及一种基于解缠绕网络的多变量时间序列异常检测方法及系统，方法包括：获取初始多变量时间序列数据，并对多变量时间序列数据进行规范化处理，得到预处理多变量时间序列数据；获取预处理多变量时间序列数据的全局依赖关系、局部动态依赖关系和时间依赖关系，进一步得到融合关系；基于融合关系得到预测多变量时间序列数据；基于预测多变量时间序列数据和预处理多变量时间序列数据得到是否异常。本发明能够很好地检测出多变量时间序列中的异常波动，大幅度提高了针对多变量时间序列的异常检测能力。

公开(公告)号：CN115063573A

公开(公告)日：2022-09-16

申请号：CN202210671234.3

申请日：2022-06-14

申请人： 湖北工业大学

发明人： 吴珺 ,  朱嘉辉 ,  董佳明 ,  聂万宇 ,  吴一帆 ,  王春枝

IPC分类号： G06V10/20 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开一种基于注意力机制的多尺度目标检测方法，包括步骤1，获取图像数据集；步骤2，对图像数据集进行预处理，并划分训练集、测试集、验证集；步骤3，建立基于注意力机制的多尺度目标检测的目标检测模型，所述目标检测模型包括CSPdarknet53主干网络、SPP池化模块、RP‑PANet特征融合模块、检测头部几个部分，其中，在CSPdarknet53主干网络中添加Coordinate Attention注意力机制，有效的提高对于特征图的提取；步骤4，训练目标检测模型；步骤5，基于训练好的目标检测模型进行目标检测，将待识别数据集图像输入到训练好的目标检测模型中，模型对图像进行分类、输出物体的名称以及识别的置信度，完成识别。与现有技术相比，本发明具有较好的识别效果。

公开(公告)号：CN114494861A

公开(公告)日：2022-05-13

申请号：CN202210019906.2

申请日：2022-01-10

申请人： 湖北工业大学

发明人： 吴珺 ,  朱嘉辉 ,  董佳明 ,  郑欣丽 ,  袁子健

IPC分类号： G06V20/10 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/25 ,  G06V10/774 ,  G06V10/762 ,  G06V10/82

摘要： 本发明提出了一种基于多参数优化YOLOV4网络的飞机目标检测方法。引入多幅遥感飞机图像构建飞机图像训练集，人工标记训练集中每幅遥感飞机图像中的外接矩形框、中心点坐标、外接矩形框的宽度、高度、以及飞机类别；将飞机图像中的外接矩形框通过K‑means++算法进行聚类，得到YOLOv4网络的锚框参数值；结合飞机图像中外接矩形框、中心点坐标、外接矩形框的宽度、高度、以及飞机类别构建损失函数模型；将采集的飞机遥感图像输入至优化后多参数优化YOLOV4网络预测，得到预测飞机外接矩形框以及对应的飞机类别。本发明通过轻量化的模型，实现对于飞机物体的快速检测，提高了对于飞机目标识别的准确性。本发明提高工作人员的检测效率以及对于遥感图像任务的快速检测。

公开(公告)号：CN114821088B

公开(公告)日：2024-10-18

申请号：CN202210493651.3

申请日：2022-05-07

申请人： 湖北工业大学 ,  武汉卓尔信息科技有限公司

发明人： 吴珺 ,  朱天亮 ,  郑欣丽 ,  王春枝 ,  董佳明 ,  袁子健 ,  周显敬 ,  刘虎 ,  李天意 ,  朱嘉辉

IPC分类号： G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/084

摘要： 本发明属于多模态数据特征抽取技术领域，公开了一种基于优化BERT模型的多模态深度特征抽取方法及系统，数据处理阶段，多模态数据特征选取，以及数据的预处理工作；BERT模型优化阶段，对原始BERT模型中的多头自注意力机制和前向传播层进行优化；特征融合阶段；结果输出阶段。本发明能够进行深层次的特征抽取，使用层次化多头注意力机制实现对特征的层次抽取，使用自定义的门机制结构替换BERT模型中的中间层，实现对信息的过滤，最后通过基于自注意力机制的张量融合模型进行多模态特征的融合，最后实现一种对多态情感信息准确分类的模型，本发明提高了BERT的特征抽取能力，具有的多模态特征抽取能力更强。