本发明提供了一种图像的拼接方法和装置，本发明根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、以及预先计算得到的在所述第一重叠区域和所述第二重叠区域中对应的像素点的颜色差异值和边缘差异值，构建差异矩阵。由于对应的像素点的偏移值是区分近景物体和远景物体的主要特征，远景物体对应的偏移值较小，近景物体对应的偏移值较大。此外，根据所述差异矩阵，将所述第一重叠区域和所述第二重叠区域进行拼接时，选取的是差异值较小的拼接缝，而差异值较小时，对应的偏移值也较小，此时最优拼接缝会在图像中的远景物体处形成，不会在图像中的近景物体处形成，进而使拼接的效果较自然。