本发明公开的一种模分复用通信系统非线性损伤补偿方法，属于光纤通信领域。本发明基于概率神经网络实现OAM通信系统PAM传输非线性补偿，将数据符号按记忆长度M分组，记忆长度M越长概率神经网络构建的OAM通信系统非线性模型更加逼近真实的OAM通信系统模型，根据OAM通信系统的记忆长度和误码率要求改变概率神经网络的样本形式，选用能够消除OAM通信系统非线性在时域对多个数据符号影响且兼顾补偿效率的样本形式，通过选用样本形式能够在具有更低补偿复杂度的同时能高效率恢复OAM系统中传输的数据符号，从而高精度高效率补偿非线性对OAM光通信系统的信息传输性能的影响，降低误码率。本发明能够节省算力，降低实际应用中的硬件配置要求。