本发明一种深度信息引导的全方向图像三维结构自动恢复方法，构建基于编码‑解码策略的全方向图像结构深度估计网络模型；通过带有深度信息的全方向图像训练数据集对结构深度估计模型进行训练优化，预测出全方向图像结构深度图；构建场景结构深度信息引导的全方向图像几何结构恢复网络模型；通过全方向图像训练数据集对几何结构恢复模型进行训练优化，预测出全方向图像的几何结构角点概率图；通过全方向图像三维点云恢复方法恢复出全方向图像中地面、墙面或天花板主要的二维几何结构，以及点云表示的三维结构。本发明实现了从单幅全方向图像中恢复出场景三维点云结构，广泛应用于数字孪生、元宇宙，提升复杂场景中三维场景重建与理解的效果。