公开(公告)号：CN114494941B

公开(公告)日：2024-08-13

申请号：CN202111610682.4

申请日：2021-12-27

申请人： 天津大学

发明人： 侯永宏 ,  李岳阳 ,  张浩元 ,  张文静 ,  刘传玉

IPC分类号： G06V20/40 ,  G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82

摘要： 本发明公开了一种基于对比学习的弱监督时序动作定位方法，仅在视频级的动作类别标签的监督下，从未剪辑视频中定位感兴趣的动作。首先，使用预训练的特征提取网络对原始视频的RGB数据和光流数据提取视频特征，并将其送入后续的动作定位网络。动作定位网络包含两个支路，其中一个支路将视频特征映射为原始的时域类激活序列(T‑CAS)；另一个支路为多分支注意力模型，分别对视频中的显著动作片段、背景片段和模糊动作片段进行建模，同时生成三个相应的时域类激活序列，并通过多示例学习(MIL)机制，使网络获得分离动作特征和背景特征的能力。本发明能够在未剪辑视频中感知精确的动作时间边界，避免完整动作的截断现象发生，很大程度地提高了动作定位精度。

公开(公告)号：CN114494941A

公开(公告)日：2022-05-13

申请号：CN202111610682.4

申请日：2021-12-27

申请人： 天津大学

发明人： 侯永宏 ,  李岳阳 ,  张浩元 ,  张文静 ,  刘传玉

IPC分类号： G06V20/40 ,  G06V40/20 ,  G06K9/62

摘要： 本发明公开了一种基于对比学习的弱监督时序动作定位方法，仅在视频级的动作类别标签的监督下，从未剪辑视频中定位感兴趣的动作。首先，使用预训练的特征提取网络对原始视频的RGB数据和光流数据提取视频特征，并将其送入后续的动作定位网络。动作定位网络包含两个支路，其中一个支路将视频特征映射为原始的时域类激活序列(T‑CAS)；另一个支路为多分支注意力模型，分别对视频中的显著动作片段、背景片段和模糊动作片段进行建模，同时生成三个相应的时域类激活序列，并通过多示例学习(MIL)机制，使网络获得分离动作特征和背景特征的能力。本发明能够在未剪辑视频中感知精确的动作时间边界，避免完整动作的截断现象发生，很大程度地提高了动作定位精度。