本发明公开了一种基于FPGA的实时祼眼3D播放系统，包括视频输入模块、DDR存储控制模块、DDR存储器、数据拆分模块、目标图像生成模块和上屏显示模块，视频输入模块交替接收参考图像数据和对应的深度图像并进行组合，将组合后的数据交替发送给DDR存储控制模块；DDR存储控制模块将参考图像数据和深度图像数据存储至DDR存储器，并按行间隔输出至数据拆分模块；数据拆分模块根据对接收到的参考图像数据和深度图像数据进行拆分发送给目标图像生成模块；目标图像生成模块通过DIBR算法合成N个目标图像构成N个立体图像对；多视点图像融合模块将N个立体图像对融合得到N个立体图像对的合成图像，发送给上屏显示模块进行上屏显示。本发明实现了对3D视频的实时播放。