-
公开(公告)号:CN106909938A
公开(公告)日:2017-06-30
申请号:CN201710082263.5
申请日:2017-02-16
Applicant: 青岛科技大学
Abstract: 本发明提出一种基于深度学习网络的视角无关性行为识别方法,包括以下步骤:将某一视角下的视频帧图像录入,采用深度学习的方式进行底层特征提取和加工;对得到的底层特征进行建模,按时间顺序得到立方体模型;将所有视角的立方体模型转化为一个视角不变的柱体特征空间映射,后将其输入到分类器中进行训练,得到视频行为视角无关性分类器。本发明的技术方案采用深度学习网络对多视角下的人体行为进行分析,提升了分类模型的鲁棒性;尤其适合基于大数据进行训练、学习,能够很好地发挥出其的优点。
-
公开(公告)号:CN104680559A
公开(公告)日:2015-06-03
申请号:CN201510124915.8
申请日:2015-03-20
Applicant: 青岛科技大学
IPC: G06T7/20
Abstract: 本发明公开了一种基于运动行为模式的多视角室内行人跟踪方法,包括利用状态空间模型对目标运动状态进行预测的过程和利用观测模型对预测的运动状态进行观测、获得跟踪结果的过程;预测过程包括:计算t时刻测试视频帧中目标所受的合力;计算t时刻测试视频帧中目标的概率力;根据目标的概率力对下一时刻的目标运动状态进行预测。采用本发明的方法,提高了行人跟踪信息的有效性,提高了行人跟踪的鲁棒性和准确性。
-
公开(公告)号:CN102799873A
公开(公告)日:2012-11-28
申请号:CN201210254343.1
申请日:2012-07-23
Applicant: 青岛科技大学
Abstract: 本发明公开了一种人体异常行为识别方法,包括利用训练样本集获得分类器和分类模板的训练过程及利用分类器和分类模板识别测试样本的识别过程。训练过程包括:对训练视频流逐帧计算每帧灰度图像中每个像素点的Hessian矩阵响应的步骤;根据矩阵响应确定特征点的步骤;用多维向量对特征点进行描述、获得描述符的步骤;对描述符进行聚类获得分类器的步骤;以及利用概率值向量获得异常行为模板的步骤。本发明所提出的方法无需进行人体分割和背景建模,通过聚类人体运动剧烈区域的时空特征,实现对运动的建模,进而实现人体异常行为的识别。
-
公开(公告)号:CN111339908B
公开(公告)日:2023-08-15
申请号:CN202010111024.X
申请日:2020-02-24
Applicant: 青岛科技大学
IPC: G06V40/10 , G06V20/52 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开一种基于多模态信息融合与决策优化的组群行为识别方法,首先针对待进行组群行为识别的视频,获取组群成员候选框序列,提取其对应的光流特征,并提取人体姿态分割特征作为第三重视觉线索;然后获取人体目标时空特征的双流模型并将其进行多模态信息融合(MMF);最后将经过MMF融合后得到的两条支路分别连接GRU,并采用基于自适应类别权重的多分类器融合方法进行决策优化,进而获得组群行为标签。本发明方案在特征融合时,设计MMF特征融合算法使得时空两路特征相辅相成,信息互为补充,最终获得更好的特征表示;在决策优化方面,设计基于自适应类别权重的多分类融合方法,对分类器取舍与各类别权重进行更加精确的计算,从而取得较高的识别精度。
-
公开(公告)号:CN111414846B
公开(公告)日:2023-06-02
申请号:CN202010192335.3
申请日:2020-03-18
Applicant: 青岛科技大学
IPC: G06V40/20 , G06V10/764 , G06V20/40 , G06V10/82 , G06N3/0464 , G06N3/0442 , G06N3/06 , G06N3/08
Abstract: 本发明公开一种基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法,1)基于关键人物候选子网络获得组群中每个成员的重要性权重;2)将个人重要性权重和边界框特征输入至主网络CNN,获得输入到层叠LSTM网络的空间特征;3)以2)的输出作为输入进行共现性特征建模,通过对层叠LSTM内部神经元分组,实现不同的组学习不同的共现性特征,获得组群特征;4)将边界框特征输入到关键时间片段候选子网络进行特征提取,获得当前帧的重要性权重;5)将3)中获得的组群特征和4)中获得的当前帧的的重要性权重相结合获得当前帧的组群特征,并将其输入到softmax进行组群行为识别,完成分类任务。本方案基于关键时空信息提取组群重要成员特征以及关键的场景帧,并结合共现性处理组群行为内部的交互信息,实现组群行为识别精度的提升。
-
公开(公告)号:CN115719510A
公开(公告)日:2023-02-28
申请号:CN202211365228.1
申请日:2022-11-03
IPC: G06V40/20 , G06V40/10 , G06V10/40 , G06V10/80 , G06V10/74 , G06V10/42 , G06V10/82 , G06V10/764 , G06V20/40 , G06V20/52 , G06N3/0464 , G06N5/04
Abstract: 本发明公开一种基于多模态融合及隐式交互关系学习的群组行为识别方法,首先提取人物静态姿态特征和动态光流特征;进行多模态特征融合,得到既包含光流又包含姿态的特征信息表示;基于融合后的特征向量,进行成员交互关系学习,以选择性的提取对行为识别重要的人物,更好地建模人物之间的关系;然后提取包含背景信息的全局特征信息;最后利用全局视野中的场景级别信息差异性的特征,辅助人物级别特征共同进行群组行为识别。本方案通过提取组群中个体行为,建模推理组群成员之间的交互关系最终达到预测群体行为的目的,识别精度高,在群组行为识别领域具有较高的实际应用价值和推广价值。
-
公开(公告)号:CN115641529A
公开(公告)日:2023-01-24
申请号:CN202211208771.0
申请日:2022-09-30
Applicant: 青岛科技大学
IPC: G06V20/40 , G06V10/62 , G06V10/80 , G06V10/764 , G06N3/0464 , G06N3/048 , G06N3/0895
Abstract: 本发明公开一种基于上下文建模与背景抑制的弱监督时序行为检测方法,包括以下步骤:将视频划分为多个不重叠片段,提取视频场景空间特征和时间运动特征,并构建每一片段的视频级特征表示;设计记忆库M作为动作定位的学习源,并基于自注意力模块对视频的上下文信息进行建模;添加背景辅助类,利用滤波模块抑制背景帧的输入特征;将细化后的片段特征及前景权重在注意力加权池中进一步联合实现视频级预测。本方案引入自注意模块,通过在特征建模及预测阶段对动作片段潜在的时间结构进行建模,进而细化不同属性的动作特征,保证行为实例的完整性;添加背景辅助类,通过滤波模块衰减来自背景帧的输入特征,且创建背景类的负样本,以此学习背景片段的特征、抑制背景噪声的影响,提高动作检测的准确定性。
-
公开(公告)号:CN110175551B
公开(公告)日:2023-01-10
申请号:CN201910426216.7
申请日:2019-05-21
Applicant: 青岛科技大学
IPC: G06V40/20 , G06V40/10 , G06V10/764
Abstract: 本发明公开了一种手语识别方法,包括:对手语视频所对应的视频序列进行频域变换,得到图像的相位信息;将相位信息和视频序列送入C3D卷积神经网络进行一次卷积并融合,形成特征信息;将所述特征信息送入深度卷积神经网络进行二次卷积和池化,并在池化过程中执行自适应学习池化算法,筛选出目标特征向量,送入全连接层输出分类结果。本发明将频域变换结合到深度学习算法中,利用频域变换提取出手语视频中的相位信息,辅助RGB空间信息,送入深度学习网络生成手语的特征,由此获得的特征更为本质、准确。通过在3D卷积神经网络模型的池化层加入自适应学习池化算法,可以挖掘到手语视频中更为抽象、高级的视频特征,得到更为精确的分类结果。
-
公开(公告)号:CN107122780B
公开(公告)日:2022-12-20
申请号:CN201710116534.4
申请日:2017-02-28
Applicant: 青岛科技大学
IPC: G06V40/20 , G06V10/77 , G06V10/50 , G06V10/772
Abstract: 本发明提出一种基于时空特征点的互信息与时空分布熵的行为识别方法,其包括以下步骤:提取视频流时空中有效的时空特征点并构建描述符;对所有STIPs描述符进行聚类,将每个聚类中心作为视觉词典中的一个视觉单词;对得到视觉词典中的视觉单词两两之间的时空关系进行描述生成视觉词典共生矩阵;对每个视觉单词内的时空特征点的时空分布进行描述生成环形特征点直方图与时空分布熵;融合视觉单词、时空特征点共生矩阵、环形时空特征点直方图与时空分布熵三种信息作为一个视频序列的描述符,利用支持向量机SVM进行行为分类识别。该方案克服传统BOVW忽略了特征点之间的时空信息的缺点,兼顾了STIPs的全局时空信息与局部空间分布。
-
-
-
-
-
-
-
-
-