公开(公告)号：CN118803180A

公开(公告)日：2024-10-18

申请号：CN202410963352.0

申请日：2024-07-18

Applicant: 上海大学

Inventor： 黄新彭 ,  周宝军 ,  安平 ,  杨超

IPC: H04N7/01 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/049 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提供了一种基于Transformer和可变形卷积的视频插帧方法及系统，其中方法包括：将原视频转化为第一帧序列；利用Transformer，对所述第一帧序列进行时空特征提取，并利用可变形卷积，基于提取的所述时空特征进行帧合成，生成目标帧；利用所述目标帧对所述第一帧序列进行插帧处理，得到第二帧序列，将所述第二帧序列转化为新视频。本发明利用Transformer结构的自注意力机制建立视频帧间和帧内的长距离依赖关系，同时依靠可变形卷积来进行帧合成，能够较好的应对帧间大运动和复杂运动情况，在量化指标与可视化指标上均有较大提升。