本发明涉及一种视差层次最大化的虚拟视点图像生成方法，利用正视差、负视差形成三维立体画面的入屏与出屏，其特征在于：以真实场景的深度信息为引导，利用深度值的直方图统计值来决定虚拟视点成像平面的合理位置，根据该位置上的虚拟视点图像绘制结果便可合成三维立体画面；其中真实场景图像RSI的水平分辨率为M像素、垂直分辨率为N像素，真实场景图像RSI对应的场景深度图像DSI的水平分辨率为M像素、垂直分辨率为N像素，其通过对虚拟视点成像平面的调制形成正视差和负视差，有效地提高了出屏与入屏视觉范围的最大化利用。