系统基于环境的走查视频和带注释的平面布置图自动标识环境中的对象。带注释的平面布置图指示预期在环境中的对象的位置和类型。系统接收走查视频并生成环境的3D模型。该系统将机器学习模型应用于走查视频，以标识捕获对象的帧内的区域。在标识包括对象的走查视频的帧内的区域之后，系统修改3D模型的对应区域以包括所标识的对象。针对每个所标识的对象，系统基于经修改的3D模型和带注释的平面布置图的比较来确定所标识的对象存在于环境中的位置处的可能性。