发明公开
- 专利标题: 一种基于多模态的建筑图像检索方法、装置及设备
-
申请号: CN202410377769.9申请日: 2024-03-29
-
公开(公告)号: CN118277603A公开(公告)日: 2024-07-02
- 发明人: 张荣波 , 崔肇群 , 王鹏
- 申请人: 清华大学建筑设计研究院有限公司
- 申请人地址: 北京市海淀区清华大学设计中心楼
- 专利权人: 清华大学建筑设计研究院有限公司
- 当前专利权人: 清华大学建筑设计研究院有限公司
- 当前专利权人地址: 北京市海淀区清华大学设计中心楼
- 代理机构: 北京金杉知识产权代理有限公司
- 代理商 李享
- 主分类号: G06F16/583
- IPC分类号: G06F16/583 ; G06F16/58 ; G06F16/535
摘要:
本申请公开了一种基于多模态的建筑图像检索方法、装置及设备,获取用户输入的建筑示例图像集合、正向提示词集合和反向提示词集合;将建筑示例图像集合、正面提示词集合和反向提示词集合进行特征提取,并计算图像特征均值、正向特征均值和反向特征均值;根据图像特征均值、正向特征均值和反向特征均值,计算建筑示例图像集合与建筑图像库中各建筑图像的相关性。本申请通过文本模态和图像模态的数据进行图像检索,根据文本特征和图像特征计算建筑示例图像与建筑图像库中各建筑图像的相关性,并将相关性前N个的建筑图像作为用于LoRA方法的目标图像。得到的目标图像与建筑示例图像相关性高,不需要再进行人工筛选,进一步提高了工作效率。