公开(公告)号：CN117786143A

公开(公告)日：2024-03-29

申请号：CN202311785707.3

申请日：2023-12-22

Applicant: 广州大学

Inventor： 汪洋涛 ,  谢翊 ,  谢延昭 ,  汤茂斌 ,  彭伟龙 ,  肖亚铁 ,  范立生 ,  方美娥

IPC: G06F16/532 ,  G06F16/583 ,  G06F40/30 ,  G06F18/25 ,  G06F18/214 ,  G06F18/21 ,  G06N3/08 ,  G06N3/0464 ,  G06V10/74 ,  G06F40/194

Abstract: 本说明书实施例提供了一种基于主语义一致性的图文检索模型构建方法及系统，其中，方法包括：获取图像数据集和文本数据集并进行预处理，得到处理后的图像数据集和文本数据集并融合为图文数据集，将所述图文数据集分为训练集、验证集和测试集；将所述训练集输入SGRAF网络模型进行训练，并构建三元损失函数以及MSC损失函数对所述SGRAF网络模型联合进行优化，得到训练好的图文检索模型，根据所述验证集验证所述训练好的图文检索模型得到最终的图文检索模型；所述方法进一步包括：将所述测试集输入所述最终的图文检索模型中，通过Recall@K对所述最终的图文检索模型进行评估。