描述了用于在增强现实环境内生成虚拟代理对象并控制虚拟代理对象的位置的方法。在一些实施例中，头戴式显示设备(HMD)可标识为其生成虚拟代理对象的现实世界对象、生成与该现实世界对象相对应的虚拟代理对象并使用HMD显示该虚拟代理对象，使得该虚拟代理对象被感知为存在于向HMD的终端用户显示的增强现实环境内。在一些情况下，图像处理技术可被应用于由嵌入在HMD内的深度相机得到的深度图像，以便标识现实世界对象的边界点，并确定与现实世界对象相对应的虚拟代理对象的维度。