本发明公开了一种基于非相干数字全息的三维位移测量系统及方法，包括非相干光源、带通滤波片，待测物体，孔径光阑，准直透镜，偏振片、分束立方、空间光调制器、电荷耦合器件和计算机；其中电荷耦合器件和空间光调制器均与计算机通信连接；测量方法包括面外位移测量方法和面内位移测量方法，采用一套简单的、共路菲涅尔非相干相关数字全息系统作为测量装置，通过建立非相干全息重建过程中重建距离zr和观测距离zs的数学模型来获得面外位移的测量结果，通过利用2D‑DIC算法对位移前后的重建像进行处理获得面内位移的测量结果，提升系统的成像质量和测量精度。