本发明公开了一种基于人工神经网络的实时场景布局识别及重建方。本发明用人工神经网络模型对输入序列进行处理，并通过寻找单帧之间的相关性，得到室内场景的布局识别后，在曼哈顿世界假设下，利用空间中一点在像素坐标系下存在唯一投影的原理，迭代优化，得到场景中每个平面的单位法向量和该平面到相机中心的距离，并在OpenGL下渲染平面。本发明利用人工神经网络，并寻找帧与帧间的联系，使得网络输出结果和三维重建结果更为精确；使用单目的RGB信息还原三维信息，减少硬件成本，同时利用每帧得到的布局信息，使用优化算法求解得到场景中每个平面的法向量和到相机中心距离。