一种深度相机及智能设备，包括：投射器，用于投射编码结构光；接收器，用于接收所述编码结构光的反射信号；芯片，用于根据所述反射信号生成结构光图像，并在第一容忍度内进行深度重建；如果所述深度重建质量符合第一自校准标准，则在所述结构光图像中选择信号强度在预设范围内的N个点，并在第二容忍度内进行匹配，建立所述结构光图像与所述参考图像的匹配关系，计算所述结构光图像与所述参考图像之间的旋转矩阵，对所述参考图像进行旋转变换，以满足所述结构光图像的对极约束，得到新的参考图像。本发明解决由于结构形变引起的深度芯片不能重建的问题。