公开(公告)号：CN115100643A

公开(公告)日：2022-09-23

申请号：CN202211028839.7

申请日：2022-08-26

申请人： 潍坊现代农业与生态环境研究院 ,  中国科学院沈阳应用生态研究所

发明人： 鄂超 ,  谢潇 ,  伍庭晨 ,  薛冰 ,  赵文豪 ,  周熙然 ,  任婉侠 ,  李京忠

IPC分类号： G06V20/64 ,  G06V10/82 ,  G06N5/02 ,  G01C21/20

摘要： 本发明涉及虚拟地理环境分析领域，提供了融合三维场景语义的单目视觉定位增强方法和设备。方法包括输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱；根据模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型；在任意位置获取单目图像，输入图像目标识别模型，输出单目图像的地物目标信息；基于单目图像的地物目标信息，对场景知识图谱中的实体节点进行语义检索，得到与单目图像匹配的三维模型；测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息。以此方式，可以实现三维场景语义增强的视觉定位，增强了图像精确性、数据广泛性。

公开(公告)号：CN115100643B

公开(公告)日：2022-11-11

申请号：CN202211028839.7

申请日：2022-08-26

申请人： 潍坊现代农业与生态环境研究院 ,  中国科学院沈阳应用生态研究所

发明人： 鄂超 ,  谢潇 ,  伍庭晨 ,  薛冰 ,  赵文豪 ,  周熙然 ,  任婉侠 ,  李京忠

IPC分类号： G06V20/64 ,  G06V10/82 ,  G06N5/02 ,  G01C21/20

摘要： 本发明涉及虚拟地理环境分析领域，提供了融合三维场景语义的单目视觉定位增强方法和设备。方法包括输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱；根据模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型；在任意位置获取单目图像，输入图像目标识别模型，输出单目图像的地物目标信息；基于单目图像的地物目标信息，对场景知识图谱中的实体节点进行语义检索，得到与单目图像匹配的三维模型；测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息。以此方式，可以实现三维场景语义增强的视觉定位，增强了图像精确性、数据广泛性。