一种基于融合特征的人体动作分类方法

    公开(公告)号:CN110427831B

    公开(公告)日:2022-02-11

    申请号:CN201910614687.0

    申请日:2019-07-09

    申请人: 淮阴工学院

    摘要: 本发明公开了一种基于融合特征的人体动作分类方法,包括输入多个带标签的人体动作视频,将各动作视频转换成帧序列;使用预训练的沙漏人体姿势估计模型预测各帧的人体关节点3D坐标,得到关节点3D坐标数据集;将人体关节点坐标投影至三维平面;使用LSTM、GRU两种模型分别对投影后的数据进行特征提取,将提取的两组特征向量进行融合;基于融合后的特征训练人体动作视频分类模型,将视频数据输入训练好的人体动作视频分类模型,得到人体动作视频分类结果。本发明方法通过特征融合可挖掘人体动作的整体特征,增强模型对特征的辨别力,对于类间差别较小的动作分类更加准确。

    一种基于全局信息和位置嵌入的场景图生成方法

    公开(公告)号:CN113836339A

    公开(公告)日:2021-12-24

    申请号:CN202111021629.0

    申请日:2021-09-01

    申请人: 淮阴工学院

    摘要: 本发明涉及计算机视觉技术领域,公开了一种基于全局信息和位置嵌入的场景图生成方法,基于大型数据集中的图像,由Faster‑RCNN得到高级特征图和每个实体信息并且对目标位置编码;将特征图和实体信息拼接的特征通过基于自注意力机制的网络得到节点间与其他目标的信息连接;利用LSTM的注意力网络得到目标上下文信息;构建边上下文生成的解码信息和目标图关系的生成融合方式;通过关系计算得到最终场景图。与现有技术相比,本发明将目标特征融入原始图像的视觉信息的方法,加入位置编码信息,连接全局信息和加权信息,提升整体视觉特征对于单一目标的影响,提高了模型推理时对于场景中主要目标的关注度和主宾分类的合理性,召回率有明显提升。

    一种基于W-ATT-CNN算法的化工装备文本分类方法

    公开(公告)号:CN110543629A

    公开(公告)日:2019-12-06

    申请号:CN201910705558.2

    申请日:2019-08-01

    申请人: 淮阴工学院

    摘要: 本发明公开了一种基于W-ATT-CNN算法的化工装备文本分类方法,包括对化工装备文本数据集D进行预处理,得到预处理后的数据集D'以及包含D'中所有汉字类别名称的词汇表vocab;通过向量化、拼接操作将数据集D'转化为矩阵V,并将数据矩阵V按7:3的比例分为训练矩阵V1和测试矩阵V2;构造ATT-CNN网络并设置训练流程,从V1中随机选取50%的数据作为训练样本矩阵T;使用矩阵V1训练ATT-CNN网络,将矩阵V2输入训练好的ATT-CNN网络进行测试,得到分类结果R,由分类结果R计算得到分类准确率P,将P与设定阈值做比较,得到最终分类模型Mod。本发明通过W-ATT-CNN算法对化工装备文本进行分类,提高了化工装备在不同应用场景中分类的准确性。

    一种基于迁移学习的手势分类方法

    公开(公告)号:CN110390275B

    公开(公告)日:2023-05-26

    申请号:CN201910597980.0

    申请日:2019-07-04

    申请人: 淮阴工学院

    摘要: 本发明公开了一种基于迁移学习的手势分类方法,适用于手势图像分类问题。本发明步骤一、将手势视频V转换为手势帧数据集合G0;步骤二、通过高斯滤波方法、OTSU算法和图像与运算对G0分别进行去除噪声、二值化和背景分割处理,得到手势帧数据集合G1,为G1设置标签后得到帧标签数据集合L;步骤三、使用MobileNet卷积神经网络架构和权重文件进行迁移学习,创建与训练模型M1;步骤四、通过模型M1提取帧数据集合G1的特征,得到帧特征向量集合F0;步骤五、将XGBoost作为分类模型对测试集进行分类,得到最终分类结果。本发明将已经训练好的MobileNet卷积神经网络权重迁移至手势图像数据集进行特征提取,采用XGBoost作为分类模型,提升分类精确度的同时减少模型计算量。

    一种基于分裂注意力的人-物交互关系分类方法

    公开(公告)号:CN113688864B

    公开(公告)日:2022-05-27

    申请号:CN202110796727.5

    申请日:2021-07-14

    申请人: 淮阴工学院

    摘要: 本发明涉及计算机视觉技术领域,公开了一种基于分裂注意力的人‑物交互关系分类方法,构建基础网络块、特征分裂模块以及实例级自注意力模块组成分裂注意力神经网络;将底层特征输入分裂注意力神经网络中,得到人和物的外观特征BP;通过对特征进行裁剪、卷积、池化后得到人的局部动作特征,将图像映射为双通道二值图并提取"人‑物"对的空间特征,将空间特征与人的局部动作特征按通道拼接后输入分裂注意力神经网络,得到"人‑物"对的空间特征CP;将BP与CP通过自注意力机制进行特征融合,得到分类结果。与现有技术相比,本发明能够在不增加计算开销的前提下,更加精确地对相似交互关系进行人‑物交互关系分类。

    一种基于融合特征的人体动作分类方法

    公开(公告)号:CN110427831A

    公开(公告)日:2019-11-08

    申请号:CN201910614687.0

    申请日:2019-07-09

    申请人: 淮阴工学院

    摘要: 本发明公开了一种基于融合特征的人体动作分类方法,包括输入多个带标签的人体动作视频,将各动作视频转换成帧序列;使用预训练的沙漏人体姿势估计模型预测各帧的人体关节点3D坐标,得到关节点3D坐标数据集;将人体关节点坐标投影至三维平面;使用LSTM、GRU两种模型分别对投影后的数据进行特征提取,将提取的两组特征向量进行融合;基于融合后的特征训练人体动作视频分类模型,将视频数据输入训练好的人体动作视频分类模型,得到人体动作视频分类结果。本发明方法通过特征融合可挖掘人体动作的整体特征,增强模型对特征的辨别力,对于类间差别较小的动作分类更加准确。

    一种金属零件表面复杂微小缺陷视觉检测方法

    公开(公告)号:CN118747740A

    公开(公告)日:2024-10-08

    申请号:CN202410811008.X

    申请日:2024-06-21

    申请人: 淮阴工学院

    摘要: 本发明公开了一种金属零件表面复杂微小缺陷视觉检测方法,获取金属零件表面具有复杂微小缺陷的待检测图像;构建LiteDDet网络检测模型,所述LiteDDet网络检测模型包括端到端图像预处理网络E2IPNet、主干网络CSPNet53‑CFGSPP、颈部网络:路径聚合特征金字塔网络PAFPN以及YOLOX预测头;将待检测图像输入至LiteDDet网络检测模型确定目标缺陷类别和位置信息。与现有技术相比,本发明提出了一种名为E2IPNet的U型图像预处理网络,引入非对称大核平衡块对输入图像进行重塑,通过混合注意力模块将得到的特征图进行细化,再使用ALKB‑Block与上采样结合,提出了一个通道特征引导重参数化块来替代YOLOX‑tiny中原本的空间池化金字塔网络,能够提高缺陷检测的精确度。

    单视图三维模型重建方法、设备及存储介质

    公开(公告)号:CN116824058A

    公开(公告)日:2023-09-29

    申请号:CN202310802924.2

    申请日:2023-06-30

    申请人: 淮阴工学院

    摘要: 本发明公开了一种单视图三维模型重建方法、设备及存储介质,方法包括以下步骤:(1)获取目标物体的二维图像,并将二维图像预处理为矢量嵌入图片序列;(2)将矢量嵌入图片序列输入训练好的二维特征提取网络中,得到二维特征图,其中,所述二维特征提取网络包括依次连接的图像嵌入层、第一协同自注意力阶段、第二协同自注意力阶段、过渡层、第一全局自注意力阶段、第二全局自注意力阶段和平均池化层;(3)将二维特征图输入训练好的三维特征提取网络中,得到三维特征图;(4)将三维特征图输入训练好的三维体素提取网络中,生成三维体素;(5)根据生成的三维体素进行三维模型重建。本发明成本低、效率高、重建效果好。