公开(公告)号：CN114708459A

公开(公告)日：2022-07-05

申请号：CN202210359767.8

申请日：2022-04-07

申请人： 国网甘肃省电力公司超高压公司 ,  国网信通亿力科技有限责任公司

发明人： 王胜利 ,  宋国云 ,  刘沛 ,  任建新 ,  侯正中 ,  郑婕 ,  张翔 ,  谢石木林 ,  林平远 ,  张志宏 ,  刘旭杰 ,  汤泽毅 ,  粘为帆 ,  许倩

IPC分类号： G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  H04N19/172 ,  H04N19/44

摘要： 本发明涉及一种基于VAE‑GAN的视频重构的方法，包括获取视频序列并对其进行预处理后，得到单帧图像以及视频属性；将所述单帧图像以及所述视频属性输入至预先训练好的VAE‑GAN模型中进行视频重建，得到重建视频。本发明采用辅助解码器和内容解码器为一体的双通道解码器，使得视频在不丢失整体的内容信息的同时提高视频连贯性与清晰度，并通过内容提取器对视频特征进行粗优化后，连接一个辅助解码器通道对视频特征进行精细优化，以粗到细的方式进行视频生成，获得了精细的细节用以生成高质量的视频。

公开(公告)号：CN114694074A

公开(公告)日：2022-07-01

申请号：CN202210359091.2

申请日：2022-04-07

申请人： 国网甘肃省电力公司超高压公司 ,  国网信通亿力科技有限责任公司

发明人： 周璋鹏 ,  柴京 ,  宋强 ,  张凯程 ,  刘强 ,  袁业 ,  张翔 ,  谢石木林 ,  林平远 ,  张志宏 ,  刘旭杰 ,  汤泽毅 ,  粘为帆 ,  许倩

IPC分类号： G06V20/40 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/774 ,  G06V10/82

摘要： 本发明公开了一种使用图像生成视频的方法，所述方法包括：获取包含多个视频帧序列的训练数据集；基于生成式对抗网络GAN模型搭建VAE‑RGAN模型，VAE‑RGAN模型包含生成器G和鉴别器D，将变分自编码器VAE和基于U‑net卷积神经网络实现的精化网络R作为生成器G；使用训练数据集对VAE‑RGAN模型进行训练，得到训练好的VAE‑RGAN模型；将基础图像、与基础图像关联的特征序列和待生成视频的目标特征向量输入训练好的VAE‑RGAN模型，生成目标视频帧序列，将目标视频帧序列包含的所有视频帧连接起来，得到待生成视频。本发明提供的使用图像生成视频的方法和装置，能够通过输入首帧图像与包含运动特征的嵌入向量进行图像的定向内容生成，解决了生成的视频不连贯、丢帧和模糊等问题。