公开(公告)号：CN117496394B

公开(公告)日：2024-07-02

申请号：CN202311337406.4

申请日：2023-10-16

申请人： 国家计算机网络与信息安全管理中心

发明人： 孙旭东 ,  张震 ,  石瑾 ,  刘铭 ,  郭承禹 ,  刘晰尧 ,  仇艺

IPC分类号： G06V20/40 ,  G06V40/16 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/084 ,  G06N3/0464 ,  G10L25/57 ,  G10L25/30

摘要： 本发明提供一种基于图像和语音多模态融合的伪造视频检测方法及装置，该方法涉及视频检测技术领域，包括：将待检测视频进行预处理，得到多个视频片段；待检测视频包括音频，每个视频片段包括音频；针对每个视频片段，分别提取视频片段的视频特征向量和视频片段中的音频的音频特征向量；基于各视频特征向量和各音频特征向量，确定待检测视频对应的总视频特征向量和总音频特征向量；基于各视频特征向量、各音频特征向量、总视频特征向量和总音频特征向量，确定待检测视频的目标检测结果；目标检测结果表示待检测视频为伪造视频或者真实视频，提升了待检测视频的目标检测结果的准确性，进而提升了对待检测视频中深度伪造内容的检测精度。

公开(公告)号：CN117496394A

公开(公告)日：2024-02-02

申请号：CN202311337406.4

申请日：2023-10-16

申请人： 国家计算机网络与信息安全管理中心

发明人： 孙旭东 ,  张震 ,  石瑾 ,  刘铭 ,  郭承禹 ,  刘晰尧 ,  仇艺

IPC分类号： G06V20/40 ,  G06V40/16 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/084 ,  G06N3/0464 ,  G10L25/57 ,  G10L25/30

摘要： 本发明提供一种基于图像和语音多模态融合的伪造视频检测方法及装置，该方法涉及视频检测技术领域，包括：将待检测视频进行预处理，得到多个视频片段；待检测视频包括音频，每个视频片段包括音频；针对每个视频片段，分别提取视频片段的视频特征向量和视频片段中的音频的音频特征向量；基于各视频特征向量和各音频特征向量，确定待检测视频对应的总视频特征向量和总音频特征向量；基于各视频特征向量、各音频特征向量、总视频特征向量和总音频特征向量，确定待检测视频的目标检测结果；目标检测结果表示待检测视频为伪造视频或者真实视频，提升了待检测视频的目标检测结果的准确性，进而提升了对待检测视频中深度伪造内容的检测精度。