本发明公开了一种语义驱动的相机定位与地图重建方法，属于计算机视觉技术领域。本发明首先利用对当前帧图像特征点进行语义分割；之后根据相似度和语义类别，采用同类匹配法对当前帧和关键帧中所有特征点进行匹配获得匹配对；再通过当前帧和关键帧中所有匹配对相机姿态进行初始化；之后结合语义判断采用三维投影法更新特征点匹配对；再利用姿态最小化对所有特征点匹配对进行更新；最后利用相机姿态构建三维地图；本发明还实现了一种语义驱动的相机定位与地图重建系统。本发明技术方案不仅仅在相机定位阶段做了多个处理，也在重建阶段做了点云的约束，使得语义分割与相机定位与重建系统更紧密的结合，得到更精确的定位结果和更完善的重建效果。