本发明公开了一种多视点自由立体显示的三维增强现实方法。它的步骤如下：1）双目相机立体拍摄自然场景；2）提取并匹配主相机图像的特征点，实时产生自然场景的三维点云图并计算相机参数；3）计算主相机图像对应的深度图，绘制虚拟视点图像及其深度图并作空洞修复；4）三维制作软件绘制三维虚拟模型，虚实融合模块实现多个视点图像的虚实融合；5）将多路虚实融合图像进行适当的合成；6）3D显示设备提供多视点立体显示。本发明采用双目相机立体拍摄，采用实时性较好的特征提取与匹配技术，不需在自然场景中作标记；虚实融合模块可以实现虚实场景的光照一致性和无缝融合；3D立体显示设备可提供多人多角度的裸眼多视点立体显示效果。