-
公开(公告)号:CN113688864A
公开(公告)日:2021-11-23
申请号:CN202110796727.5
申请日:2021-07-14
Applicant: 淮阴工学院
Abstract: 本发明涉及计算机视觉技术领域,公开了一种基于分裂注意力的人‑物交互关系分类方法,构建基础网络块、特征分裂模块以及实例级自注意力模块组成分裂注意力神经网络;将底层特征输入分裂注意力神经网络中,得到人和物的外观特征BP;通过对特征进行裁剪、卷积、池化后得到人的局部动作特征,将图像映射为双通道二值图并提取"人‑物"对的空间特征,将空间特征与人的局部动作特征按通道拼接后输入分裂注意力神经网络,得到"人‑物"对的空间特征CP;将BP与CP通过自注意力机制进行特征融合,得到分类结果。与现有技术相比,本发明能够在不增加计算开销的前提下,更加精确地对相似交互关系进行人‑物交互关系分类。
-
公开(公告)号:CN118942076A
公开(公告)日:2024-11-12
申请号:CN202411057494.7
申请日:2024-08-02
Applicant: 淮阴工学院
IPC: G06V20/59 , G06V10/774 , G06V10/82 , G06V10/764 , G06V10/40 , G06V10/80 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及目标检测领域,涉及一种基于RGCfusion的危险驾驶行为检测方法,收集多张机动车驾驶员在开车时进行不同类型的危险驾驶的图片;搭建RGCfusion‑YOLO模型,利用RGCSPELAN模块替换YOLOv8模型中的C2f模块,在neck层与检测头之间增加CGAFusion特征融合模块或在neck层与检测头之间增加CAAFusion特征融合模块;对RGCfusion‑YOLO模型进行训练;利用训练后的RGCfusion‑YOLO模型进行危险驾驶行为检测。与现有技术相比,本发明通过对YOLOv8模型进行改进,引入RGCSPELAN模块和Fusion特征融合模块对不同类型的危险驾驶的图片进行检测分类,这样不仅仅增加识别的准确性,并且减少了对驾驶员的驾驶操作难度。
-
公开(公告)号:CN113836339A
公开(公告)日:2021-12-24
申请号:CN202111021629.0
申请日:2021-09-01
Applicant: 淮阴工学院
IPC: G06F16/55 , G06F16/58 , G06F16/583 , G06F16/587 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及计算机视觉技术领域,公开了一种基于全局信息和位置嵌入的场景图生成方法,基于大型数据集中的图像,由Faster‑RCNN得到高级特征图和每个实体信息并且对目标位置编码;将特征图和实体信息拼接的特征通过基于自注意力机制的网络得到节点间与其他目标的信息连接;利用LSTM的注意力网络得到目标上下文信息;构建边上下文生成的解码信息和目标图关系的生成融合方式;通过关系计算得到最终场景图。与现有技术相比,本发明将目标特征融入原始图像的视觉信息的方法,加入位置编码信息,连接全局信息和加权信息,提升整体视觉特征对于单一目标的影响,提高了模型推理时对于场景中主要目标的关注度和主宾分类的合理性,召回率有明显提升。
-
公开(公告)号:CN113836339B
公开(公告)日:2023-09-26
申请号:CN202111021629.0
申请日:2021-09-01
Applicant: 淮阴工学院
IPC: G06F16/55 , G06F16/58 , G06F16/583 , G06F16/587 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及计算机视觉技术领域,公开了一种基于全局信息和位置嵌入的场景图生成方法,基于大型数据集中的图像,由Faster‑RCNN得到高级特征图和每个实体信息并且对目标位置编码;将特征图和实体信息拼接的特征通过基于自注意力机制的网络得到节点间与其他目标的信息连接;利用LSTM的注意力网络得到目标上下文信息;构建边上下文生成的解码信息和目标图关系的生成融合方式;通过关系计算得到最终场景图。与现有技术相比,本发明将目标特征融入原始图像的视觉信息的方法,加入位置编码信息,连接全局信息和加权信息,提升整体视觉特征对于单一目标的影响,提高了模型推理时对于场景中主要目标的关注度和主宾分类的合理性,召回率有明显提升。
-
公开(公告)号:CN113689434B
公开(公告)日:2022-05-27
申请号:CN202110796736.4
申请日:2021-07-14
Applicant: 淮阴工学院
Abstract: 本发明公开了一种基于条带池化的图像语义分割方法,包括:提取图像分割训练数据集的图像特征;将图像特征输入深度空洞卷积模块,通过紧缩激励模块压缩得到紧密特征图和底层特征图;将紧密特征图进行金字塔编码得到五个特征图,并对其分别解码,并与底层特征图进行融合,拼接为融合特征图;将底层特征图条带池化编码,提取高级特征后,解码得到池化后的特征图;将池化后的特征图和融合特征图进行加法融合,再经降噪解码后得到图像分割输出;输入数据集进行训练保存为SD‑NET模型,将图片输入到SD‑NET模型得到分割结果。本发明利用条带池化提取底层特征,结合紧缩激励层和非局部层进一步去除图像噪声,在图像上采样时进一步融合。
-
公开(公告)号:CN113689434A
公开(公告)日:2021-11-23
申请号:CN202110796736.4
申请日:2021-07-14
Applicant: 淮阴工学院
Abstract: 本发明公开了一种基于条带池化的图像语义分割方法,包括:提取图像分割训练数据集的图像特征;将图像特征输入深度空洞卷积模块,通过紧缩激励模块压缩得到紧密特征图和底层特征图;将紧密特征图进行金字塔编码得到五个特征图,并对其分别解码,并与底层特征图进行融合,拼接为融合特征图;将底层特征图条带池化编码,提取高级特征后,解码得到池化后的特征图;将池化后的特征图和融合特征图进行加法融合,再经降噪解码后得到图像分割输出;输入数据集进行训练保存为SD‑NET模型,将图片输入到SD‑NET模型得到分割结果。本发明利用条带池化提取底层特征,结合紧缩激励层和非局部层进一步去除图像噪声,在图像上采样时进一步融合。
-
公开(公告)号:CN113688864B
公开(公告)日:2022-05-27
申请号:CN202110796727.5
申请日:2021-07-14
Applicant: 淮阴工学院
IPC: G06V10/764 , G06K9/62 , G06V10/40 , G06N3/04 , G06N3/08
Abstract: 本发明涉及计算机视觉技术领域,公开了一种基于分裂注意力的人‑物交互关系分类方法,构建基础网络块、特征分裂模块以及实例级自注意力模块组成分裂注意力神经网络;将底层特征输入分裂注意力神经网络中,得到人和物的外观特征BP;通过对特征进行裁剪、卷积、池化后得到人的局部动作特征,将图像映射为双通道二值图并提取"人‑物"对的空间特征,将空间特征与人的局部动作特征按通道拼接后输入分裂注意力神经网络,得到"人‑物"对的空间特征CP;将BP与CP通过自注意力机制进行特征融合,得到分类结果。与现有技术相比,本发明能够在不增加计算开销的前提下,更加精确地对相似交互关系进行人‑物交互关系分类。
-
-
-
-
-
-