一种视频行为识别方法及系统

    公开(公告)号:CN114581819B

    公开(公告)日:2024-09-20

    申请号:CN202210163283.6

    申请日:2022-02-22

    摘要: 本发明提供一种视频行为识别方法及系统,包括:确定预训练好的识别网络;识别网络包括:时空特征提取模块和集合匹配模块;时空特征提取模块用于提取接收到视频的空间特征和时间特征,集和匹配模块用于基于空间特征和时间特征以及模板视频的时空特征将接收到视频与模板视频进行匹配,识别接收到视频的行为;模板视频包括T类视频;对识别网络进行训练时,从T类视频中循环随机选取S类视频,为每类视频确定K个训练样本,将S类视频对应的训练样本输入到识别网络进行训练;将待识别的视频和模板视频输入到预训练好的识别网络中,以对待识别视频进行行为识别,输出对应的行为识别结果。本发明在小样本场景下,可以实现灵活准确的视频匹配和识别。

    一种基于生成对抗网络的噪声合成及其模型训练方法

    公开(公告)号:CN116912139A

    公开(公告)日:2023-10-20

    申请号:CN202310818272.1

    申请日:2023-07-04

    摘要: 本发明公开了一种基于生成对抗网络的噪声合成及其模型训练方法,属于计算机视觉技术领域。本发明第首先将噪声的合成过程分解为信号相关部分噪声合成和信号无关部分噪声合成,并将信号相关部分和信号无关部分噪声相加后得到合成噪声图像;再通过利用傅立叶卷积的方法来学习图像中噪声的频域和空间域信息并进行融合,利用融合信息对合成的噪声和真实的噪声进行分类判别;最后通过预训练的去噪模型对合成的噪声和真实的噪声分别进行去噪,并对去噪后的图像进行正则化约束,由此实现合成模型的收敛。本发明方法所合成的噪声图像更符合真实噪声分布的噪声图像。

    一种基于目标检测的目标跟踪方法及系统

    公开(公告)号:CN111192294B

    公开(公告)日:2022-04-22

    申请号:CN201911393936.4

    申请日:2019-12-30

    发明人: 秦淮 高常鑫 桑农

    摘要: 本发明公开了一种基于目标检测的目标跟踪方法及系统,模式识别技术领域,包括:为待跟踪目标建立包括主干网络和推理网络的目标跟踪模型,主干网络为目标检测模型中已训练好的特征提取网络;在目标视频中的第一帧F1上创建多个正样本,通过模型训练初始化推理网络;依次获取目标视频中的帧作为当前帧,利用目标跟踪模型获得当前帧中的多个候选区域及其检测得分和目标位置坐标;根据空间约束对检测得分进行修正,得到跟踪得分;若跟踪得分最高的目标区域的跟踪得分Score>ThS,则跟踪成功,并创建正、负样本,加入到样本库中;若ThF≤Score≤ThS,则判定跟踪成功;若Score

    一种语义驱动的相机定位与地图重建方法和系统

    公开(公告)号:CN110335319B

    公开(公告)日:2022-03-18

    申请号:CN201910557726.8

    申请日:2019-06-26

    发明人: 桑农 王玘 高常鑫

    摘要: 本发明公开了一种语义驱动的相机定位与地图重建方法,属于计算机视觉技术领域。本发明首先利用对当前帧图像特征点进行语义分割;之后根据相似度和语义类别,采用同类匹配法对当前帧和关键帧中所有特征点进行匹配获得匹配对;再通过当前帧和关键帧中所有匹配对相机姿态进行初始化;之后结合语义判断采用三维投影法更新特征点匹配对;再利用姿态最小化对所有特征点匹配对进行更新;最后利用相机姿态构建三维地图;本发明还实现了一种语义驱动的相机定位与地图重建系统。本发明技术方案不仅仅在相机定位阶段做了多个处理,也在重建阶段做了点云的约束,使得语义分割与相机定位与重建系统更紧密的结合,得到更精确的定位结果和更完善的重建效果。

    基于深度学习的多任务车辆部件识别模型、方法和系统

    公开(公告)号:CN108647700B

    公开(公告)日:2021-08-03

    申请号:CN201810328845.1

    申请日:2018-04-14

    IPC分类号: G06K9/62

    摘要: 本发明公开了一种基于深度学习的多任务车辆部件识别模型、方法和系统,包括:基于车辆图像数据库建立车辆部件数据库并对车辆部件进行标记,对车辆部件数据库进行图像数据增强得到车辆部件训练集;利用车辆部件训练集训练深度残差网络,得到车辆部件识别网络;基于车辆图像数据库,统计多个车辆部件不同类型同时出现的概率,得到多个车辆部件的联合概率,基于多个车辆部件的联合概率建立多任务车辆部件识别的数据集和对应多标签;用来训练车辆部件识别网络得到多任务的车辆部件识别模型。利用多任务的车辆部件识别模型对待检测车辆图像进行识别,得到待检测车辆图像中每个车辆部件的概率。本发明网络训练简单、易收敛、数据易获取且识别准确率高。

    一种基于空间自适应相关滤波器的目标跟踪方法及系统

    公开(公告)号:CN109255799B

    公开(公告)日:2021-07-27

    申请号:CN201810837256.6

    申请日:2018-07-26

    发明人: 高常鑫 秦淮 桑农

    IPC分类号: G06T7/246 G06T5/20 G06K9/62

    摘要: 本发明公开了一种基于空间自适应相关滤波器的目标跟踪方法及系统,其中实现方法包括:在当前帧中根据颜色模型和纹理模型提取目标搜索区域的特征;用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力;对各特征的表达能力进行归一化,得到各特征的权值系数;由当前帧的权值系数与上一帧的权值系数更新当前帧的权值系数;以当前帧中各特征更新后的权值系数融合各特征响应图得到当前帧的特征响应先验图;将特征响应先验图乘到特征图中,得到空间注意的特征;将空间注意的特征与相关滤波模板进行相关操作后,将响应图上响应最大点作为待追踪目标的中心位置。通过本发明可以解决跟踪过程中目标的快速移动和遮挡等问题。

    一种时空行为检测方法
    8.
    发明授权

    公开(公告)号:CN109961019B

    公开(公告)日:2021-03-26

    申请号:CN201910153037.0

    申请日:2019-02-28

    IPC分类号: G06K9/00 G06K9/62

    摘要: 本发明公开了一种时空行为检测方法,包括对样本视频中所有帧进行对象检测,获取候选对象集合;计算样本视频中所有帧间光流信息,获取运动集合;构建附加对象注意机制和运动注意机制的时空卷积‑反卷积网络;对样本视频的各时间片段进行时空卷积处理后,均添加对应的稀疏变量和稀疏约束得到网络结构S;以基于交叉熵的分类损失和稀疏约束的损失为目标函数,对网络结构S进行训练;计算测试样本视频中各时间片段对应的行为类别与稀疏系数,获取对象行为时空位置。本发明通过对象检测和光流预测,不仅减少行为搜索空间,而且时空行为检测具有良好的鲁棒性。

    一种弱监督语义分割方法及其应用

    公开(公告)号:CN111462163A

    公开(公告)日:2020-07-28

    申请号:CN202010004601.5

    申请日:2020-01-03

    摘要: 本发明属于计算机视觉技术领域,具体公开一种弱监督语义分割方法及应用,方法包括:采用预训练的用于弱监督语义分割的语义擦除式区域扩张分类网络,对待语义分割图片依次进行第一阶段特征提取和高层语义整合分类,得到该张图片对应的第一类别响应图;对第一类别响应图中响应度高的区域进行擦除并对擦除后的类别响应图进行第二阶段高层语义整合分类,得到第二类别响应图;对第一类别响应图和第二类别响应图的各对应位置分别相加融合,得到融合类别响应图,并对融合类别响应图进行背景阈值切割处理得到类别分割区域图。本发明极大简化擦除式区域扩张分类网络结构,同时扩张效果好,极大提高区域扩张的探索效率,使得弱监督语义分割效果进一步增强。

    一种基于判别特征网络的图像语义分割方法

    公开(公告)号:CN108596240B

    公开(公告)日:2020-05-19

    申请号:CN201810357683.4

    申请日:2018-04-20

    摘要: 本发明公开了一种基于判别特征网络的图像语义分割方法,属于模式识别技术领域。本发明首先将样本集随机分成训练集合,对每个训练集合中的数据进行数据扩增;之后以全卷积网络为基础,分别构建两个子网络:平滑网络和边界网络,并将两个子网络组合成判别特征网络;再将训练集合中的数据输入判别特征网络,并采用正向传播算法和后向传播算法训练网络参数;之后利用交叉熵函数分别计算两个子网络的损失,采用随机梯度下降算法最小化损失函数;最后利用训练后的判别特征网络对待测图片进行分析,预测图像中每个像素所属的类别,形成图像语义分割图输出。本发明方法提出了一种判别特征网络用于,解决了类内不一致和类间差别小的问题。