本发明提出一种新的基于深度图渲染技术的虚拟视点合成的方法。首先，通过3D图像变换获得虚拟视点深度图像，对该深度图像进行优化处理；然后根据优化处理得到的深度图进行逆向3D图像变换，获得虚拟视点彩色图像；最后通过基于深度信息的图像修复算法进行空洞填充。通过逆向3D图像变换，可以避免虚拟视点彩色图像上出现裂纹，提高虚拟视点图像的质量；另外，针对虚拟视点图像中的非遮挡空洞区域，采用本发明提出的图像修复的方法进行填充，可以保证渲染出的图像产生最佳的显示效果。