公开(公告)号：CN115270754B

公开(公告)日：2023-02-24

申请号：CN202211138842.4

申请日：2022-09-19

申请人： 科大讯飞(苏州)科技有限公司

发明人： 刘浩宇 ,  李直旭 ,  陈志刚 ,  郑新 ,  何莹

IPC分类号： G06F40/194 ,  G06F40/295 ,  G06F16/36 ,  G06F16/583 ,  G06V30/19 ,  G06V30/41

摘要： 本申请公开了一种跨模态匹配方法及相关装置、电子设备、存储介质，其中，跨模态匹配方法包括：获取待匹配文本和待匹配图像；获取任一对待匹配文本和待匹配图像之间的匹配分值；基于任一对待匹配文本和待匹配图像之间的匹配分值，确定相互匹配的待匹配文本和待匹配图像，作为匹配图文对；其中，匹配分值基于跨模态匹配模型对待匹配文本和待匹配图像匹配分析得到，跨模态匹配模型基于样本数据训练得到，样本数据包括样本图像、与样本图像匹配的样本正例文本和与样本图像不匹配的样本负例文本，且样本负例文本基于知识图谱对样本正例文本进行改造得到。上述方案，能够提升跨模态匹配的匹配精度。

公开(公告)号：CN115270754A

公开(公告)日：2022-11-01

申请号：CN202211138842.4

申请日：2022-09-19

申请人： 科大讯飞(苏州)科技有限公司

发明人： 刘浩宇 ,  李直旭 ,  陈志刚 ,  郑新 ,  何莹

IPC分类号： G06F40/194 ,  G06F40/295 ,  G06F16/36 ,  G06F16/583 ,  G06V30/19 ,  G06V30/41

摘要： 本申请公开了一种跨模态匹配方法及相关装置、电子设备、存储介质，其中，跨模态匹配方法包括：获取待匹配文本和待匹配图像；获取任一对待匹配文本和待匹配图像之间的匹配分值；基于任一对待匹配文本和待匹配图像之间的匹配分值，确定相互匹配的待匹配文本和待匹配图像，作为匹配图文对；其中，匹配分值基于跨模态匹配模型对待匹配文本和待匹配图像匹配分析得到，跨模态匹配模型基于样本数据训练得到，样本数据包括样本图像、与样本图像匹配的样本正例文本和与样本图像不匹配的样本负例文本，且样本负例文本基于知识图谱对样本正例文本进行改造得到。上述方案，能够提升跨模态匹配的匹配精度。