一种基于多模态的建筑图像检索方法、装置及设备

    公开(公告)号:CN118277603A

    公开(公告)日:2024-07-02

    申请号:CN202410377769.9

    申请日:2024-03-29

    摘要: 本申请公开了一种基于多模态的建筑图像检索方法、装置及设备,获取用户输入的建筑示例图像集合、正向提示词集合和反向提示词集合;将建筑示例图像集合、正面提示词集合和反向提示词集合进行特征提取,并计算图像特征均值、正向特征均值和反向特征均值;根据图像特征均值、正向特征均值和反向特征均值,计算建筑示例图像集合与建筑图像库中各建筑图像的相关性。本申请通过文本模态和图像模态的数据进行图像检索,根据文本特征和图像特征计算建筑示例图像与建筑图像库中各建筑图像的相关性,并将相关性前N个的建筑图像作为用于LoRA方法的目标图像。得到的目标图像与建筑示例图像相关性高,不需要再进行人工筛选,进一步提高了工作效率。