基于负感知注意力框架的图像文本跨模态检索方法
摘要:
本发明公开了一种基于负感知注意力框架的图像文本跨模态检索方法,与现有的仅关注匹配片段而削弱或消除不匹配片段作用效果的方法相比,同时关注了图像‑文本对中的匹配和不匹配片段,通过高效的迭代优化策略最大限度地挖掘负面的不匹配片段,生成更具区分性和鲁棒性的负面作用。并且,本发明提出的双分支匹配机制,能够显式地利用片段带来的正面作用和负面作用,精确地衡量出片段的相似度与不相似度,用以共同推断出图文之间的整体相似度,因此可以实现更准确的检索效果。
0/0