发明公开
- 专利标题: 图文跨模态检索方法、装置、电子设备及存储介质
-
申请号: CN202311020332.1申请日: 2023-08-14
-
公开(公告)号: CN117076695A公开(公告)日: 2023-11-17
- 发明人: 辛锐 , 欧中洪 , 陈曦 , 路欣 , 刘明硕 , 王少影 , 姜丹 , 张博 , 尹晓宇 , 章涵宇 , 田子敬
- 申请人: 国网河北省电力有限公司信息通信分公司 , 华瑞新智科技(北京)有限公司 , 国家电网有限公司
- 申请人地址: 河北省石家庄市裕华区富强大街10号; ;
- 专利权人: 国网河北省电力有限公司信息通信分公司,华瑞新智科技(北京)有限公司,国家电网有限公司
- 当前专利权人: 国网河北省电力有限公司信息通信分公司,华瑞新智科技(北京)有限公司,国家电网有限公司
- 当前专利权人地址: 河北省石家庄市裕华区富强大街10号; ;
- 代理机构: 石家庄国为知识产权事务所
- 代理商 刘少卿
- 主分类号: G06F16/432
- IPC分类号: G06F16/432 ; G06F16/483 ; G06F18/25 ; G06F40/295 ; G06V10/25 ; G06V10/26 ; G06V10/764 ; G06V10/766 ; G06V10/80 ; G06V10/82
摘要:
本发明提供一种图文跨模态检索方法、装置、电子设备及存储介质。该方法包括:在预设图片库和预设文本库中进行样本筛选,得到图片样本和文本样本;图片样本与文本样本中包括至少同一种实体目标;对文本样本进行实体抽取,得到文本样本的实体目标;对图片样本进行分割,得到图片样本的M×N个区块;分别计算实体目标在每个区块内的权重,根据权重确定图片样本的高频实体目标;提取每个区块的文本提示信息,并将文本提示信息添加到实体目标对应的文本后;分别提取各区块和添加信息后的实体目标对应的文本的特征向量,并基于特征向量和高频实体目标进行合并。本发明能够确定实体的相对位置,进一步提高跨模态检索的准确性。