公开(公告)号：CN116361497A

公开(公告)日：2023-06-30

申请号：CN202310301992.0

申请日：2023-03-24

Applicant: 合肥工业大学

Inventor： 刘建 ,  徐辙 ,  俞远哲 ,  莫柠源 ,  周布伟

IPC: G06F16/53 ,  G06F16/33 ,  G06F18/22 ,  G06V10/40 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明公开了一种基于多层次特征和注意力机制的图像菜谱检索方法，属于跨模态检索技术领域，具体步骤如下：步骤S1：收集食物图像数据和食谱数据；步骤S2：构建基于多层次特征和上下文感知的注意力机制的图像菜谱检索模型；步骤S3：通过步骤S1中的食物图像数据和食谱数据对步骤S2中的图像菜谱检索模型进行训练；步骤S4：通过训练好的图像菜谱检索模型对食物图像和食谱进行跨膜态检索。采用上述一种基于多层次特征和注意力机制的图像菜谱检索方法，优化了食物图片和食谱的相互检索，引入了跨模态检索的三元组损失，通过将最大平均差异与三元组损失结合，来更好的拉近对应的图文对，并使不匹配的远离。