全息通讯设备、系统、方法和存储介质

    公开(公告)号:CN118741075A

    公开(公告)日:2024-10-01

    申请号:CN202410977088.6

    申请日:2024-07-19

    摘要: 本公开提供一种全息通讯设备、系统、方法和存储介质,属于计算机视觉技术领域。本公开的全息通讯设备,包括处理器被配置为基于接收到的多张第一图像,实时确定使用者的人眼三维坐标;将接收到的视频流解码为多张第二图像;多张第二图像分别为不同第二相机分别从不同视角拍摄到的、目标对象的图像;基于每张第二图像的序列信息,分别对相邻两张第二图像计算视角间视差,得到多张视差图,并将每张视差图转换为点云数据;基于各个点云数据,将第二图像的图像特征转换至人眼三维坐标,得到视点特征图;利用预先训练好的渲染神经网络模型对视点特征图进行渲染,得到使用者双目分别对应的新视点图;全息显示器被配置为基于各个新视点图进行全息显示。

    近眼显示器设备的视线(LoS)通信能力

    公开(公告)号:CN118631982A

    公开(公告)日:2024-09-10

    申请号:CN202410250526.9

    申请日:2024-03-05

    摘要: 本发明涉及近眼显示器设备的视线(LoS)通信能力。诸如增强现实(AR)/虚拟现实(VR)近眼显示器设备等可穿戴设备采用无线通信技术来促进两个用户之间或一个用户与一组用户之间的“对讲机”式视线(LoS)通信(单向或双向广播模式)。无线通信可以通过超宽带(UWB)或类似的无线通信子系统来促进。该系统可以检测通信范围内和预定义的到达角(AoA)内的另一个或另一些用户。通信可以由用户通过输入来发起,从而允许该用户通过音频和/或视频模式离散地与另一个或另一些用户通信。在“对讲机自拍”模式中,两个或更多个用户可以采集彼此的图像,并且这些图像可以叠加,从而生成整个组的“自拍”。

    用于调试程序执行和内容回放的方法和设备

    公开(公告)号:CN118450109A

    公开(公告)日:2024-08-06

    申请号:CN202410642651.4

    申请日:2022-04-29

    申请人: 苹果公司

    摘要: 本公开涉及用于调试程序执行和内容回放的方法和设备。在一个具体实施中,本发明提供了一种用于记录XR环境的方法。该方法包括:经由该显示设备呈现具有一个或多个虚拟代理的图形环境,其中该图形环境对应于包括该一个或多个虚拟代理的扩展现实(XR)内容和从物理环境的第一视点(POV)捕获的该物理环境的图像流的合成;经由该一个或多个输入设备检测从该一个或多个虚拟代理中选择第一虚拟代理的用户输入;以及响应于检测到该用户输入,记录与该图形环境相关联的多个数据流,该多个数据流包括来自该第一POV的该图形环境的第一图像流和来自该第一虚拟代理的当前POV的该图形环境的一个或多个数据流。

    信息处理装置和信息处理方法以及再现装置和再现方法

    公开(公告)号:CN115118952B

    公开(公告)日:2024-07-19

    申请号:CN202210579940.5

    申请日:2017-05-12

    申请人: 索尼公司

    IPC分类号: H04N13/388 H04N13/383

    摘要: 本公开提供一种信息处理装置和信息处理方法以及再现装置和再现方法。该信息处理装置,包括:文件获取部,其被配置成获取包括用于将全向图像映射到3D模型的映射信息的文件,其中,所述映射信息包括所述全向图像在所述3D模型的参考位置处的旋转角度信息以及参考图像在所述全向图像中的位置,其用于针对所述参考位置旋转和映射所述参考图像,以及其中,所述3D模型的参考位置是在观看者的观看位置是所述3D模型的中心的情况下对应于所述观看者的预定视线方向的所述3D模型上的位置。