基于跨模态哈希学习的视频解析方法

    公开(公告)号:CN113111836A

    公开(公告)日:2021-07-13

    申请号:CN202110447506.7

    申请日:2021-04-25

    摘要: 一种基于跨模态哈希学习的视频解析方法,实现多模态特征向汉明共空间的特征映射与融合,并利用汉明距离对具有语义相似性的视频片段‑查询语句对,进行高效检索。一方面引入双向时序卷积网络模型,深刻理解视频单元的上下文信息,以及视频内部的长期语义依赖;另一方面,引入基于多头注意力机制的文本语义理解模型,对给定查询语句进行有效表征,从而提高了视频定位的精度。本发的特征编码模型是相互独立的,即视频片段候选集的生成与查询语句特征集的表征,可以分开独立运行。因此,当我们对给定视频完成相应的候选集生成之后,可以根据不同用户的多样性需求,对当前视频反复进行基于汉明距离度量的高效视频定位。

    一种基于多模态动态交互机制的图文解析方法

    公开(公告)号:CN113065012B

    公开(公告)日:2022-04-22

    申请号:CN202110288644.5

    申请日:2021-03-17

    摘要: 一种基于多模态动态交互机制的图文解析方法,提出了一个动态模态交互建模框架用于解决图文检索问题,该框架不仅能够涵盖现有方法的交互模式,还能够自动学习其他未被探索到的模式。为了赋予模型充分的模态交互能力,从不同角度、不同粒度设计了四种基础的交互模块,其有效解决了模态内推理和模态间对齐两大图文检索中的核心挑战。为了动态地学习模态交互模式,在每个交互模块中整合了一个动态路由器。通过提出的语义一致性正则化技术对路径决策过程进行了合理的、强有力的约束,确保了模型路径学习的高效性。在进行图像和文本之间的相互检索时准确度大幅度提高。