本发明涉及三维重建领域，具体为一种融合激光雷达与图像数据的轨道三维重建方法。其包括如下步骤：S1、将激光雷达传感器、惯导系统安装于手持搭载设备上，并通过数据接口与电脑相连；S2、运行传感器驱动并开始数据采集，使用摄像设备获取照片数据；S3.1、激光点云通过RANSAC算法评估局部区域点的凹凸程度来提取边缘和平面特征点；S3.2、使用SFM重建稀疏点云，而后使用CMVS重建稠密点云；S4.1、进行激光点云与图像点云尺度拟合；S4.2、通过求解对应点变换后的距离误差和来判断当前配准变换的性能；S4.3、融合纹理色彩信息；S5、拟合两组点云。本发明优化了点云密度和点云数据类型，采集设备移动轻便，满足实时移动，三维模型精度高、纹理完善。