本发明公开了一种基于容积卡尔曼滤波器的快速偏振态旋转(RSOP)补偿算法，步骤包括：根据前一离散时刻的RSOP的状态矢量和误差协方差矩阵，计算容积点并且传播容积点，对当前时刻的状态矢量和误差协方差矩阵进行估计；对频偏估计后的数据存在的残余频偏误差进行补偿；同时，利用三阶球面‑相径容积的容积卡尔曼滤波补偿算法结合快速傅里叶变换对振幅和相位的估计，对载波相位噪声进行补偿；将星座点作为对恢复信号的参考基准，利用恢复信号计算得到新息矢量，从而更新状态矢量和误差协方差矩阵，用于下个离散时刻的估计。本发明基于容积卡尔曼滤波算法实现RSOP跟踪和恢复，解决高速偏振复用系统中快速时变RSOP带来的信号畸变问题，提高效率、降低复杂度。