本发明为一种RZ-DQPSK光信号调制失真的监测方法，包括对I路、Q路延时以及切割脉冲延时的监测，利用脉冲光对RZ-DQPSK光信号进行相干光采样，采样得到的数据使用数字信号处理算法构建状态转移图，对构建得到的状态转移图与标准图库进行匹配，得到最佳匹配对应的延时，作为监测的结果，本发明还提供了一种实现该方法的系统，包括用于对RZ-DQPSK光信号进行采样，并得到状态转移图的状态转移图构建装置；以及用于对得到的状态转移图与标准图库进行匹配，从而得到最终的监测结果的状态转移图匹配装置，本发明在已有相干光检测系统基础上，采用数字信号处理算法，降低了系统复杂度，且状态转移图匹配可提高调制失真的判决监测性能。