基于轻量装置的时变光场的动态人脸高光材质提取算法

    公开(公告)号:CN116246006A

    公开(公告)日:2023-06-09

    申请号:CN202310212243.0

    申请日:2023-03-01

    申请人: 之江实验室

    IPC分类号: G06T15/50 G06T17/00

    摘要: 基于轻量装置的时变光场的动态人脸高光材质提取算法,包括以下步骤:(1)根据开源的人脸皮肤反射参数统计数据库Merl/ETH Skin,人脸高光以Torrance‑Sparrow模型表达根据开源的人脸皮肤反射参数统计数据库Merl/ETH Skin,人脸高光以Torrance‑Sparrow模型表达;(2)将皮肤的Torrance‑Sparrow模型转为Rusinkiewicz Half‑vector参数化表达方式;(3)通过至少三个与不同Half‑vector的夹角解出法向;(4)获取法向后,再代入Torrance‑sparrow模型计算其高光的反射强度。本发明还提供基于轻量级设备的时序变化光场的动态人脸高光材质提取算法的装置。本发明充分利用人脸皮肤材质的反射模型的,提取的法向具有物理依据;不超过三个光照模式就能实现高光参数的提取,时间间隔少,适合人脸动态场景。

    用于影视智能创作的情景互动的短视频生成方法及系统

    公开(公告)号:CN115496863B

    公开(公告)日:2023-03-21

    申请号:CN202211354722.8

    申请日:2022-11-01

    申请人: 之江实验室

    摘要: 本发明涉及影视创作领域,公开一种用于影视智能创作的情景互动的短视频生成方法和系统,通过预训练的跨模态文本‑图像匹配模型和预训练的语言模型,可以实现场景图片和动作序列的匹配筛选;基于三维深度估计算法,计算出场景图像对应的深度信息,并通过预设的相机内参,估计出该场景图对应的三维信息;基于smpl‑x人体模型,对用户上传的人体进行参数估计和纹理贴图,获取带纹理的人体模型;通过估计的三维信息、动作序列、带纹理的人体模型、场景图片,合成互动者融于该场景图片的短视频。本发明可有效应用于当前影视创作中的分镜稿、故事版及预演动画等智能化生成工作,对影视创造的流程具体革新作用。

    一种动态人脸图像对齐方法、装置、设备及可读存储介质

    公开(公告)号:CN116844212A

    公开(公告)日:2023-10-03

    申请号:CN202310851164.4

    申请日:2023-07-11

    申请人: 之江实验室

    IPC分类号: G06V40/16

    摘要: 本说明书公开了一种动态人脸图像对齐方法、装置、设备及可读存储介质,根据第一人脸图像对各尺度的初始网格模板进行优化,得到优化后的中间网格模板,根据中间网络模板和第一人脸图像生成第一渲染图,以第二人脸图像的点云对应的深度图和中间网格模板的深度图之间的差异的最小化、第二人脸图像的点云对应的法向图和所述中间网格模板的法向图之间的差异的最小化,以及第一渲染图和第二人脸图像之间的差异的最小化为优化目标,优化中间网格模板,得到目标网格模板,从而基于目标网格模板得到第二渲染图。可见,上述方案不仅可以实现人脸的几何对齐和纹理对齐,还能够对不同的人脸表型实现正确的形变对齐,提高了动态人脸图像对齐的准确性。

    一种基于时序变化光场的轻量级动态人脸采集装置

    公开(公告)号:CN116208844A

    公开(公告)日:2023-06-02

    申请号:CN202310212242.6

    申请日:2023-03-01

    申请人: 之江实验室

    摘要: 一种基于时序变化光场的轻量级动态人脸采集装置,其特征在于:包括相机阵列和时序可控的光场阵列,光场阵列为相机阵列提供照明;相机阵列与光场围绕正面人脸分布,俯视呈现的形状近似半圆,在垂直方向为多层分布。相机阵列、LED光源与控制模块连接,可以同步控制相机拍摄与光源开关,在人脸动态采集过程中,形成时序变化的光场。本发明还提供一种基于时序变化光场的轻量级动态人脸采集装置的采集方法。本发明通过多层LED光场阵列,设计了一套对皮肤漫反射分量均匀,对高光分量有差异的光照模式,实现对动态场景友好的时序变化光场,确保几何和人脸物理材质动态提取的效果。本装置以相对低的硬件成本做到高质量人脸几何和材质的重建。

    用于影视智能创作的情景互动的短视频生成方法及系统

    公开(公告)号:CN115496863A

    公开(公告)日:2022-12-20

    申请号:CN202211354722.8

    申请日:2022-11-01

    申请人: 之江实验室

    摘要: 本发明涉及影视创作领域,公开一种用于影视智能创作的情景互动的短视频生成方法和系统,通过预训练的跨模态文本‑图像匹配模型和预训练的语言模型,可以实现场景图片和动作序列的匹配筛选;基于三维深度估计算法,计算出场景图像对应的深度信息,并通过预设的相机内参,估计出该场景图对应的三维信息;基于smpl‑x人体模型,对用户上传的人体进行参数估计和纹理贴图,获取带纹理的人体模型;通过估计的三维信息、动作序列、带纹理的人体模型、场景图片,合成互动者融于该场景图片的短视频。本发明可有效应用于当前影视创作中的分镜稿、故事版及预演动画等智能化生成工作,对影视创造的流程具体革新作用。

    基于参数化人体模型的体能测评方法

    公开(公告)号:CN116824637A

    公开(公告)日:2023-09-29

    申请号:CN202310845279.2

    申请日:2023-07-11

    申请人: 浙江大学

    摘要: 本发明公开了一种基于参数化人体模型的体能测评方法,包括以下步骤:获取目标运动员的双目图像,同时获取拍摄双目图像的相机参数;采用关键点检测算法从双目图像中提取二维人体关键点序列;根据二维人体关键点序列和相机参数生成SMPL参数化人体模型;依据SMPL参数化人体模型生成三维关键点序列,并基于三维关键点序列形成体能测试模板;依据体能测试模板和体型评价标准和动作评价标准进行体型指标和动作指标计算,这样能够进行快速准确的体能测试,用于辅助教练完成对运动员的日常体能测试评估,从而加快体育相关科研成果与一线体能训练实践之间的转化速度。

    一种举重运动数据的分析与评价系统

    公开(公告)号:CN115063889A

    公开(公告)日:2022-09-16

    申请号:CN202210751773.8

    申请日:2022-06-28

    申请人: 浙江大学

    摘要: 本发明公开了一种举重运动数据的分析与评价系统,包括场地分析单元、杠铃分析单元、运动员分析单元、可视化单元、评价单元;所述场地分析单元用于对举重场地角点进行跟踪和标定;所述杠铃分析单元用于对杠铃进行定位和轨迹生成;所述运动员分析单元用于对运动员进行二维人体姿态估计和三维人体姿态估计;所述评价单元用于根据时序信息和人体姿态估计包含的关节点坐标计算举重过程中各阶段的技术指标,形成分析指标体系;所述可视化单元用于可视化举重场地、杠铃定位结果和杠铃轨迹、二维人体姿态、三维人体姿态、分析指标体系。该系统能够实现对举重运动数据的全面分析,提高举重运动的技术分析速度与精度,缩短举重运动员与科研人员的距离。