本发明提出了一种复杂背景下的全景图像拼接方法，如下：在RGB颜色空间用高斯混合模型对原始图像进行建模，去除图像背景像素；对完成背景去除的图像构建多尺度空间，检测图像的局部特征点；采用快速最近邻搜索匹配算法对相邻图像之间的局部特征点进行初步匹配；采用随机采样一致性算法对误匹配的特征点进行筛选，以特征点经过单应性变换与匹配特征点之间距离的平方等于4.0为筛选阈值，获取准确匹配结果；根据单应性矩阵对相邻图像进行位置变换拼接图像；采用直接平均融合法处理图像间的重叠区域，生成全景图像。本方法能够实现复杂背景下的全景图像拼接，消除了大视差图像中背景区域对全景图像拼接的干扰，极大地降低了全景图像获取成本。