本发明公开了一种基于深度图像渲染的多通道视频流编码器和解码器。本发明在对多通道视频流进行编码时，对中心通道视频流图像帧和深度图按照视频编码标准方法进行编码；根据通道重建后的图像帧和深度图，采用深度图像渲染技术得到邻近的待编码的辅助通道的预测图，对遮挡信息进行变换、量化、熵编码。本发明在对多通道视频压缩码流进行解码时，利用人类视觉系统的生理特点，采用深度图像渲染技术，根据两个相邻通道的图像帧和其深度图，得到位于该两个相邻通道中心位置的一个虚拟通道。在采用本发明解码器输出视频流的显示端，每个立体视点由一个高质量通道和一个虚拟通道构成，观众可以获得良好的立体视觉体验。