本发明涉及一种多光束时分复用全息三维显示系统及其显示方法，该系统包括：4f系统，由第一、第二透镜组成；空间光调制器，输入计算全息编码，通过第一透镜的转换，在空间光调制器对应频谱面上显示输入编码的频谱分布；偏振选通单元，结合空间光调制器，对相邻入射光，获取偏振态正交的调制信息；孔径光阑，通光孔径由依次正交的偏振片排列组成，其位于空间光调制器经第一透镜所确定频谱面上；控制单元，用于控制空间光调制器入射光入射次序和时间；光信息由偏振孔径光阑滤波后，经第二透镜再次转换，在有效调制面复现空间光调制器的输入信息。本发明实现衍射视角的展宽合成，显示大视角真三维图像，有利于计算全息三维显示技术实用化发展。