本公开公开的一种基于深度学习的自适应视点融合方法及系统，包括：获取左参考视点深度图和彩色图、右参考视点深度图和彩色图；将左参考视点深度图和彩色图、右参考视点深度图和彩色图分别经过三维映射，获得左合成图像、右合成图像、左几何位置偏差、右几何位置偏差和合成深度图；用左合成图像的信息填补右合成图像的空洞，获取校正后右合成图像，用右合成图像的信息填补左合成图像的空洞，获取校正后左合成图像；将校正后右合成图像、校正后左合成图像、左几何位置偏差、右几何位置偏差和合成深度图输入训练好的神经网络模型中，获得合成彩色图。获得了高质量的合成彩色图。