公开(公告)号：CN118678159A

公开(公告)日：2024-09-20

申请号：CN202410688397.1

申请日：2024-05-30

Applicant: 之江实验室

Inventor： 王忠豪 ,  邹常青 ,  凌泽宇 ,  赵志峰

IPC: H04N21/472 ,  H04N21/44 ,  G06T5/50 ,  G06T5/60 ,  G06T5/70 ,  G06V20/40 ,  G06V10/26 ,  G06V10/62 ,  G06V10/80 ,  G06V10/75 ,  G06V10/82 ,  G06N3/0455

Abstract: 本发明公开了一种基于掩码的视频局部物体编辑方法及装置，该方法包括：首先对视频分割成帧，得到图像序列；在第一帧中选取并优化目标物体的掩码，利用模板匹配和预训练的图像分割模型追踪并优化后续帧中的物体掩码；通过预训练的SD模型对第一帧进行编码并引入高斯噪声；根据给定文本描述，使用SD模型去噪并生成编辑后的图像；最后，通过迭代处理和解码过程完成整帧图像的编辑，并在处理后续帧时融合前几帧的编辑结果和注意力信息。由于该方法将视频编辑建立在图像编辑的基础之上，可以利用现有预训练文本图像模型的能力，不需要重新训练模型。此外在处理后续每一帧时都融合了前几帧的注意力信息，保证了编辑后视频的连续性。