本申请提供了一种基于矩阵李群和因子图的无人机视觉定位导航方法及装置，该方法包括：通过视觉传感器获取无人机的视觉特征，并基于所述视觉特征对所述无人机的信息变量进行优化估计；通过惯导传感器获取所述无人机的位姿信息，并对所述位姿信息进行约束优化，得到最优的姿态和位置估计；将所述视觉传感器和所述惯导传感器相融合，生成视觉惯性里程计，以测量并估计所述无人机的位姿数据；将优化估计的所述信息变量、所述最优的姿态和位置估计、和所述位姿数据输入到因子图算法中，利用所述因子图算法，得到所述无人机的导航结果，以对所述无人机进行导航。本申请解决了现有技术中导航不准确的技术问题。