一种基于场景分层的光场渲染方法

    公开(公告)号:CN116503536B

    公开(公告)日:2024-04-05

    申请号:CN202310764527.0

    申请日:2023-06-27

    Abstract: 本发明涉及一种基于场景分层的光场渲染方法,以解决现有技术中对3D场景大深度部分进行较高分辨率渲染导致的算力浪费的问题。本发明包括:使用模型渲染工具进行实验获得三维光场显示中感知分辨率随光场显示深度的变化曲线;根据感知分辨率随光场显示深度的变化曲线,选定深度阈值,将场景划分为不同层级;对不同层级的3D场景进行渲染;确定不同层级间的遮挡关系,得到低分辨率的视差图像;对视差图像进行超分辨率重建与像素编码,得到高分辨率的合成图像。通过仿真实验获得理想状态下光场显示深度与人眼感知到的显示分辨率的变化关系,结合深度学习超分辨率方法提高合成图像的显示分辨率,从而实现高质量且算力损耗小的显示效果。

    一种减小错切概率的三维图像合成方法和装置

    公开(公告)号:CN113763301B

    公开(公告)日:2024-03-29

    申请号:CN202111052398.X

    申请日:2021-09-08

    Abstract: 本发明公开了一种减小错切概率的三维图像合成方法、装置、计算机设备和存储介质。所述方法包括:获取初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像;基于预设拟合度评测模型,确定各个光场显示图像和对应的视差图像之间的最小差值;基于最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像。因此,由于引入了预设显示图像合成模型,这样,将人眼观看到的图像从带有错切的图像变为视差图,从而大大地减少了错切概率,三维显示景深也会相应提升,此外,预设拟合度评测模型,能够精准地确定出各个光场显示图像和对应的视差图像之间的最小差值,在该最小差值的前提下,生成的优化三维合成图像具有最小错切,显示深度最大。

    多源光场融合渲染方法、装置及存储介质

    公开(公告)号:CN117635454A

    公开(公告)日:2024-03-01

    申请号:CN202311498075.2

    申请日:2023-11-10

    Abstract: 本申请实施例提供一种多源光场融合渲染方法、装置及存储介质,所述方法包括:基于极平面图像EPI域转化,获取多视点图像中目标物体的深度信息;基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体,获取目标物体图像;基于所述目标物体图像确定所述目标物体的多源场景数据;融合所述多源场景数据对所述目标物体图像进行渲染,得到渲染结果。本申请实施例提供的多源光场融合渲染方法、装置及存储介质,可以通过EPI域转化对多视点图像进行深度提取,然后根据深度信息剔除非目标物体并进行多源场景的融合渲染,可以得到多源场景下的场景重构渲染图像。

    光场显示分辨率的测量方法及装置

    公开(公告)号:CN117571259A

    公开(公告)日:2024-02-20

    申请号:CN202311421906.6

    申请日:2023-10-30

    Abstract: 本发明提供一种光场显示分辨率的测量方法及装置,其中方法包括:使用双目相机对三维光场显示器显示的棋盘格图像进行拍摄,得到拍摄图像,并基于所述拍摄图像确定所述棋盘格图像的显示深度;使用角点检测方法检测所述拍摄图像中的角点数量;基于所述显示深度、所述拍摄图像中的角点数量、所述棋盘格图像的角点数量,确定所述三维光场显示器在所述显示深度下的分辨率。从而可以在算力损耗小的条件下测量出三维光场显示器在不同深度下的显示分辨率。

    语音驱动数字人面部动画生成方法和装置

    公开(公告)号:CN116645456A

    公开(公告)日:2023-08-25

    申请号:CN202310390854.4

    申请日:2023-04-12

    Abstract: 本发明涉及人机交互技术领域,尤其涉及一种语音驱动数字人面部动画生成方法和装置。其中,语音驱动数字人面部动画生成方法包括,首先获取音频数据;对音频数据进行特征提取,得到对应的音频特征;然后将音频特征输入到训练好的面部关键点确定模型中,得到音频特征对应的面部关键点位置;面部关键点确定模型为根据音频特征和数字面部关键点位置的对应关系训练得到的;最后,根据面部关键点位置和数字人面部模板数据生成三维面部动画。可见,依据本发明提供的方法,可以采用音频数据对数字人面部进行驱动,避免了用户佩戴头戴式显示设备导致的身体疲劳的情况,同时使得数据人面部动作自然、切近真实人脸动作,使得人机交互效果更好。

    手势识别、手势交互方法及装置
    97.
    发明公开

    公开(公告)号:CN116543452A

    公开(公告)日:2023-08-04

    申请号:CN202310363839.0

    申请日:2023-04-06

    Abstract: 本发明提供一种手势识别、手势交互方法及装置,手势识别方法包括:确定待识别手部关键点数据;将所述待识别手部关键点数据输入手势识别模型,得到所述待识别手部关键点数据对应的目标手势类别;其中,所述手势识别模型是基于样本手部关键点数据以及所述样本手部关键点数据对应的手势类别标签训练得到的,所述样本手部关键点数据是初始样本手部关键点数据进行位姿归一化后获得的。本发明能够实现准确且快速的手势识别,还可以实现多种功能的人机交互,具有较高的稳定性和鲁棒性。

    三维图像重建方法、装置及设备
    98.
    发明公开

    公开(公告)号:CN116543099A

    公开(公告)日:2023-08-04

    申请号:CN202310278301.X

    申请日:2023-03-20

    Abstract: 本发明提供一种三维图像重建方法、装置及设备,包括:获取待扫描对象的多个彩色图像对;彩色图像对中包括双目相机的左眼相机拍摄得到的左彩色图像和右眼相机拍摄得到的右彩色图像;确定多个彩色图像对各自对应的视差图像对和初始深度图像对,并基于多个视差图像对和多个初始深度图像对确定目标深度图像对;基于目标深度图像对和目标深度图像对对应的彩色图像对进行三维重建,得到待扫描对象的三维图像。本发明提供的三维图像重建方法、装置及设备用于提高三维图像的质量。

    一种高效虚拟场景内容光场获取与生成方法

    公开(公告)号:CN116528065A

    公开(公告)日:2023-08-01

    申请号:CN202310787597.8

    申请日:2023-06-30

    Abstract: 本发明涉及光场显示技术领域,为了解决现有数据处理算法不足导致的实时性和保真性低的技术问题,本发明公开了一种高效虚拟场景内容光场获取与生成方法,根据光场视角以及所需视点数,设定虚拟相机位置,通过指定虚拟相机获取彩色视频流和深度视频流,通过光场编码模块对视频流编码,压缩上传云端传输;通过在预定位置的虚拟相机,实时获取虚拟场景的彩色视频流和深度视频流,并从云端实现远端到本地端传输,获取单帧对应的彩色图与深度图,经过光场编码后进行具有高保真和实时性的远程渲染,能够极大地降低传输成本,解决了通过模型传输代价高、无法实时的问题,同时保证了光场下的渲染精度,满足了高保真和实时的传输和生成需求。

    全视差三维光场显示系统的参数确定方法、装置及设备

    公开(公告)号:CN114815286B

    公开(公告)日:2023-07-21

    申请号:CN202210372685.7

    申请日:2022-04-11

    Abstract: 本申请提供一种全视差三维光场显示系统的参数确定方法、装置、设备及介质,包括:接收用于仿真设计的显示系统参数;根据显示系统参数将二维显示屏、透镜阵列和全息功能屏的数学模型组合建立全视差三维光场的显示系统模型;确定显示系统模型的目标视点,并获取在目标视点拍摄的视差图像;根据视差图像生成在二维显示屏上显示的合成图像;根据合成图像生成目标视点的仿真图像,仿真图像是将在目标视点接收的光线通过透镜阵列回追到二维显示屏获得的;计算视差图像和仿真图像的相似度;根据相似度得到显示系统参数对应的显示质量分值。相较于现有技术,通过本申请可以在显示系统投入生产之前优化显示系统参数,提高显示质量。

Patent Agency Ranking