- 专利标题: 基于负感知注意力框架的图像文本跨模态检索方法
-
申请号: CN202210516499.6申请日: 2022-05-13
-
公开(公告)号: CN114625910B公开(公告)日: 2022-08-19
- 发明人: 毛震东 , 张勇东 , 郭俊波 , 张坤 , 郭文歆
- 申请人: 中国科学技术大学 , 人民网股份有限公司
- 申请人地址: 安徽省合肥市包河区常青街道金寨路96号;
- 专利权人: 中国科学技术大学,人民网股份有限公司
- 当前专利权人: 中国科学技术大学,人民网股份有限公司
- 当前专利权人地址: 安徽省合肥市包河区常青街道金寨路96号;
- 代理机构: 合肥天明专利事务所
- 代理商 谢中用
- 主分类号: G06F16/583
- IPC分类号: G06F16/583 ; G06F16/532 ; G06F16/51 ; G06F16/332 ; G06F40/30 ; G06N3/04
摘要:
本发明公开了一种基于负感知注意力框架的图像文本跨模态检索方法,与现有的仅关注匹配片段而削弱或消除不匹配片段作用效果的方法相比,同时关注了图像‑文本对中的匹配和不匹配片段,通过高效的迭代优化策略最大限度地挖掘负面的不匹配片段,生成更具区分性和鲁棒性的负面作用。并且,本发明提出的双分支匹配机制,能够显式地利用片段带来的正面作用和负面作用,精确地衡量出片段的相似度与不相似度,用以共同推断出图文之间的整体相似度,因此可以实现更准确的检索效果。
公开/授权文献
- CN114625910A 基于负感知注意力框架的图像文本跨模态检索方法 公开/授权日:2022-06-14