本发明涉及一种具有泄漏相态监控的核主泵机械密封试验装置及其方法，包括相态窥镜探头、背压调节装置和图像处理模块：相态窥镜探头用于采集三级密封泄漏侧的相态图像；背压调节装置用于调节三级密封泄漏侧的压力；所述图像处理模块与所述相态窥镜探头通信连接，用于对接收的相态图像进行边沿化处理。本发明采用微型的相态窥镜探头获取三级低压泄漏流的相态图像，经过Sobel边沿检测算法来求取图像边沿化后的均方差，实现了基于内窥图像的主泵轴封低压泄漏流相态的在线监测。调节泄漏背压来改善浮动密封的润滑状态，并开展了多水平背压试验，得到三级密封泄漏侧的压力与相态图像的清晰度之间的关系，可用于在主泵机械性能试验阶段排除故障。