本发明涉及一种基于概率整形高阶QAM相干光通信系统的矩形星座编码方法。本发明的误码性能较优，在相同开销情况下，矩形星座编码方法的效果略优于传统PAS方案。在信号的符号位均由编码产生的标签位代替的情况下，矩形星座编码方法在1024‑QAM和4096‑QAM情况下分别有0.4和0.5dB的增益；在需要额外更大开销的情况下，矩形星座编码方法和PAS的联合编码也有0.5dB的增益均能够在25dB光信噪比的情况下满足系统传输要求。同时，发明基于概率整形高阶QAM相干光通信系统的矩形星座编码方法的复杂度更低；在联合编码的情况下，两种方案复杂度相似，但是本发明能够在更低的开销下达到更好的误码性能。