本发明提供一种基于预均衡的超高阶QAM调制传输系统和方法，所述系统包括：发射端算法模块，包括预均衡处理层，所述预均衡处理层基于权重矩阵对待发送数据矩阵进行处理，所述权重矩阵在每次对待发送数据矩阵进行处理后，基于所述权重矩阵中的0抽头个数对所述权重矩阵进行更新；数据发射模块，包括任意波发生器和IQ调制器，所述数据发射模块通过任意波发生器和IQ调制器输出数据；数据接收模块，包括相干接收机和示波器，所述相干接收机与所述IQ调制器通过传输光纤相连接，传入的数据顺序通过相干接收机和示波器进行处理；接收端算法模块，包括解码层，所述接收端算法模块接收示波器传入的数据，通过所述解码层解析得到接收数据矩阵。