-
公开(公告)号:CN117235305A
公开(公告)日:2023-12-15
申请号:CN202310828614.8
申请日:2023-07-07
Applicant: 北京邮电大学
IPC: G06F16/783 , G06F18/25 , G06F18/2415
Abstract: 本申请提供一种基于双重对比学习的视频文本跨模态检索方法及相关设备。所述方法包括:获取查询语句和至少一个视频;根据所述查询语句,得到所述查询语句对应的查询特征向量;根据所述视频,得到每个所述视频对应的视频特征向量;所述视频特征向量由对应视频的视觉特征向量和字幕特征向量联合表征得到;根据所述查询特征向量和所述视频特征向量,得到每个所述视频与所述查询语句的相似性;确定最大相似性对应的视频为目标视频。本申请基于查询感知的跨模态双重对比学习机制,通过对视频和视频片段进行细粒度检索和定位,提高了视频检索的效率和准确性。