公开(公告)号：CN114445739A

公开(公告)日：2022-05-06

申请号：CN202210022698.1

申请日：2022-01-10

申请人： 东南大学

发明人： 张宇 ,  米思娅 ,  王梓骅

IPC分类号： G06V20/40 ,  G06V10/762 ,  G06K9/62

摘要： 本发明公开了一种基于自监督的视频聚类方法。该方法利用自监督的方式，学习得到视频在RGB和光流中的特征值，并对该特征值进行聚类。为了实现这一目标，将计算视频在RGB和光流中最近邻作为代理任务，实现无标签的视频特征提取。此外，对视频的每帧图片进行图片聚类，每个视频中出现次数最高的聚类标签作为视频的静态聚类标签。最后，将直接对视频提取得到的聚类特征作为视频的动态特征，结合静态聚类标签得到最终视频聚类结果。本发明可以在视频识别的数据集上提取具有判别性的特征表示，有效的提高了视频对齐问题的准确率。

公开(公告)号：CN113409374B

公开(公告)日：2024-05-10

申请号：CN202110785160.1

申请日：2021-07-12

申请人： 东南大学

发明人： 张宇 ,  米思娅 ,  王梓骅

IPC分类号： G06T7/33 ,  G06T7/00 ,  G06V20/40

摘要： 本发明公开了一种基于动作配准的人物视频对齐方法。该方法利用检测人体关键点作为动作配准基准点，对相似动作进行配准以抵消视频拍摄角度和画面旋转带来的影响，并通过自监督的时间循环一致性来进行视频对齐。为了实现这一目标，使用空间变换网络对人体所在区域进行校准，并获取对应人体关键点。此外，采用随机抽样一致性算法将识别到的人体特征点按误差最小原则进行筛选，用筛选得到的点将用于动作配准。最后，引入了一种自监督的时间循环一致性对齐算法，将动作配准后的视频与基准视频进行对齐。本发明可以在视频对齐和识别的数据集上提取具有判别性的特征表示，有效的提高了视频对齐问题的准确率。

公开(公告)号：CN113409374A

公开(公告)日：2021-09-17

申请号：CN202110785160.1

申请日：2021-07-12

申请人： 东南大学

发明人： 张宇 ,  米思娅 ,  王梓骅

IPC分类号： G06T7/33 ,  G06T7/00 ,  G06K9/00

摘要： 本发明公开了一种基于动作配准的人物视频对齐方法。该方法利用检测人体关键点作为动作配准基准点，对相似动作进行配准以抵消视频拍摄角度和画面旋转带来的影响，并通过自监督的时间循环一致性来进行视频对齐。为了实现这一目标，使用空间变换网络对人体所在区域进行校准，并获取对应人体关键点。此外，采用随机抽样一致性算法将识别到的人体特征点按误差最小原则进行筛选，用筛选得到的点将用于动作配准。最后，引入了一种自监督的时间循环一致性对齐算法，将动作配准后的视频与基准视频进行对齐。本发明可以在视频对齐和识别的数据集上提取具有判别性的特征表示，有效的提高了视频对齐问题的准确率。