基于轻量装置的时变光场的动态人脸高光材质提取算法

    公开(公告)号:CN116246006A

    公开(公告)日:2023-06-09

    申请号:CN202310212243.0

    申请日:2023-03-01

    申请人: 之江实验室

    IPC分类号: G06T15/50 G06T17/00

    摘要: 基于轻量装置的时变光场的动态人脸高光材质提取算法,包括以下步骤:(1)根据开源的人脸皮肤反射参数统计数据库Merl/ETH Skin,人脸高光以Torrance‑Sparrow模型表达根据开源的人脸皮肤反射参数统计数据库Merl/ETH Skin,人脸高光以Torrance‑Sparrow模型表达;(2)将皮肤的Torrance‑Sparrow模型转为Rusinkiewicz Half‑vector参数化表达方式;(3)通过至少三个与不同Half‑vector的夹角解出法向;(4)获取法向后,再代入Torrance‑sparrow模型计算其高光的反射强度。本发明还提供基于轻量级设备的时序变化光场的动态人脸高光材质提取算法的装置。本发明充分利用人脸皮肤材质的反射模型的,提取的法向具有物理依据;不超过三个光照模式就能实现高光参数的提取,时间间隔少,适合人脸动态场景。

    用于影视智能创作的情景互动的短视频生成方法及系统

    公开(公告)号:CN115496863B

    公开(公告)日:2023-03-21

    申请号:CN202211354722.8

    申请日:2022-11-01

    申请人: 之江实验室

    摘要: 本发明涉及影视创作领域,公开一种用于影视智能创作的情景互动的短视频生成方法和系统,通过预训练的跨模态文本‑图像匹配模型和预训练的语言模型,可以实现场景图片和动作序列的匹配筛选;基于三维深度估计算法,计算出场景图像对应的深度信息,并通过预设的相机内参,估计出该场景图对应的三维信息;基于smpl‑x人体模型,对用户上传的人体进行参数估计和纹理贴图,获取带纹理的人体模型;通过估计的三维信息、动作序列、带纹理的人体模型、场景图片,合成互动者融于该场景图片的短视频。本发明可有效应用于当前影视创作中的分镜稿、故事版及预演动画等智能化生成工作,对影视创造的流程具体革新作用。

    一种动态人脸图像对齐方法、装置、设备及可读存储介质

    公开(公告)号:CN116844212A

    公开(公告)日:2023-10-03

    申请号:CN202310851164.4

    申请日:2023-07-11

    申请人: 之江实验室

    IPC分类号: G06V40/16

    摘要: 本说明书公开了一种动态人脸图像对齐方法、装置、设备及可读存储介质,根据第一人脸图像对各尺度的初始网格模板进行优化,得到优化后的中间网格模板,根据中间网络模板和第一人脸图像生成第一渲染图,以第二人脸图像的点云对应的深度图和中间网格模板的深度图之间的差异的最小化、第二人脸图像的点云对应的法向图和所述中间网格模板的法向图之间的差异的最小化,以及第一渲染图和第二人脸图像之间的差异的最小化为优化目标,优化中间网格模板,得到目标网格模板,从而基于目标网格模板得到第二渲染图。可见,上述方案不仅可以实现人脸的几何对齐和纹理对齐,还能够对不同的人脸表型实现正确的形变对齐,提高了动态人脸图像对齐的准确性。

    一种基于时序变化光场的轻量级动态人脸采集装置

    公开(公告)号:CN116208844A

    公开(公告)日:2023-06-02

    申请号:CN202310212242.6

    申请日:2023-03-01

    申请人: 之江实验室

    摘要: 一种基于时序变化光场的轻量级动态人脸采集装置,其特征在于:包括相机阵列和时序可控的光场阵列,光场阵列为相机阵列提供照明;相机阵列与光场围绕正面人脸分布,俯视呈现的形状近似半圆,在垂直方向为多层分布。相机阵列、LED光源与控制模块连接,可以同步控制相机拍摄与光源开关,在人脸动态采集过程中,形成时序变化的光场。本发明还提供一种基于时序变化光场的轻量级动态人脸采集装置的采集方法。本发明通过多层LED光场阵列,设计了一套对皮肤漫反射分量均匀,对高光分量有差异的光照模式,实现对动态场景友好的时序变化光场,确保几何和人脸物理材质动态提取的效果。本装置以相对低的硬件成本做到高质量人脸几何和材质的重建。

    用于影视智能创作的情景互动的短视频生成方法及系统

    公开(公告)号:CN115496863A

    公开(公告)日:2022-12-20

    申请号:CN202211354722.8

    申请日:2022-11-01

    申请人: 之江实验室

    摘要: 本发明涉及影视创作领域,公开一种用于影视智能创作的情景互动的短视频生成方法和系统,通过预训练的跨模态文本‑图像匹配模型和预训练的语言模型,可以实现场景图片和动作序列的匹配筛选;基于三维深度估计算法,计算出场景图像对应的深度信息,并通过预设的相机内参,估计出该场景图对应的三维信息;基于smpl‑x人体模型,对用户上传的人体进行参数估计和纹理贴图,获取带纹理的人体模型;通过估计的三维信息、动作序列、带纹理的人体模型、场景图片,合成互动者融于该场景图片的短视频。本发明可有效应用于当前影视创作中的分镜稿、故事版及预演动画等智能化生成工作,对影视创造的流程具体革新作用。