公开(公告)号：CN114998799B

公开(公告)日：2023-01-13

申请号：CN202210636564.9

申请日：2022-06-07

申请人： 山东省人工智能研究院(CN) ,  青岛海尔智能技术研发有限公司(CN) ,  烟台艾睿光电科技有限公司(CN) ,  苏州天瞳威视电子科技有限公司(CN)

发明人： 高赞 ,  崔兴磊 ,  陶俊伟 ,  宋健明 ,  王水跟 ,  朱文印 ,  张蕊

IPC分类号： G06V20/40 ,  G06V40/20 ,  G06V20/50 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V10/40 ,  G06N3/04

摘要： 本发明公开了一种基于全局知识挖掘和前景注意力的交互视频动作检测方法，准确地实现了对视频中动作实例的定位和分类；方法的具体步骤如下：对视频进行预处理，通过I3D网络将生成的视频帧获得时空特征序列，将特征序列输入到上下文信息提取模块提取不同层次的特征序列F，通过时间信息提取模块挖掘视频的全局信息，将特征序列F和特征序列连接起来，得到粗时间边界和粗分类，根据不同层次的特征结合损失函数利用前景信息增强模块得到精细化特征；本发明基于已知数据集对视频中的动作实例进行高效定位和分类，并且方法收敛速度快。