-
公开(公告)号：CN119484953A
公开(公告)日：2025-02-18
申请号：CN202411560132.X
申请日：2024-11-04
Applicant: 浙江大学
IPC: H04N21/854 , G06N3/0475 , G06N3/045 , G06N3/094 , G06T5/70 , G06T5/60 , G06T3/4007 , H04N5/265
Abstract: 本发明公开了一种基于时序位置编码的多模态特征融合数字人视频生成方法和装置，包括：基于单目视频构建关键点；使用Faceverse模型检测的面部Faceverse系数，拟合并替换SMPLX模型的面部Flame系数，使用Hamer模型检测的Mano手型，拟合并替换SMPLX模型的手部表示，得到优化后的SMPLX模型；基于关键点绘制得到颜色编码表征图像和眼睛注视图像，同时基于优化后的SMPLX模型绘制得到深度图像、语义图像、以及法向图像；在图像生成模型中引入用于增强时序一致性的时序位置编码，同时基于所有图像形成的多模态特征连续生成多帧数字人图像，并添加音频得到数字人视频，在多个领域都有广泛应用前景。
-
公开(公告)号：CN118967895A
公开(公告)日：2024-11-15
申请号：CN202411050737.4
申请日：2024-08-01
Applicant: 浙江大学
IPC: G06T13/40 , G06N20/00 , G06F40/205
Abstract: 本发明公开一种基于文字特征提取的战斗动作骨骼动画生成方法及系统，包括步骤：构建多维度精细描述骨骼动画特征的文字数据集、接收文字输入并经由模型推理生成战斗动作骨骼动画、文字骨骼动画对齐模型输出反馈结果、根据反馈结果迭代优化生成结果、生成结果符合标准输出结果。因此，本发明通过优化模型接收的文字输入和迭代反馈优化生成结果，提高了输入的文字描述与生成的相应骨骼动画的匹配度，实现了提高模型鲁棒性、降低使用门槛的效果。提高了接收文字输入的生成式模型生成骨骼动画的质量，使得生成的战斗动作骨骼动画更加符合预期。
-
公开(公告)号：CN117011420A
公开(公告)日：2023-11-07
申请号：CN202310922604.0
申请日：2023-07-26
Applicant: 浙江大学
IPC: G06T11/60 , G06T5/00 , G06Q30/0601 , G06N3/045 , G06N3/0455 , G06N3/0464 , G06N3/0475
Abstract: 本发明公开一种基于隐扩散模型的虚拟试穿方法，包括：获取用户二维人物图像和目标服装图像；获取人体姿势关键点信息；分别将用户二维人物图像和目标服装图像的信息映射至隐空间，得到用户二维人物图像隐空间信息和目标服装图像的隐空间信息；结合人体姿势关键点信息、用户二维人物图像的隐空间信息和目标服装图像的隐空间信息生成虚拟试穿图像。本发明能够根据用户二维人物图像和二维目标服装图像自动生成真实的虚拟试穿效果。
-
公开(公告)号：CN113205074B
公开(公告)日：2022-04-26
申请号：CN202110595989.5
申请日：2021-05-29
Applicant: 浙江大学
Abstract: 本发明公开了一种融合肌电和微惯性测量单元多模态信号的手势识别方法，步骤如下：使用肌电电极和微惯性测量单元采集肌电数据和运动数据，并对两者进行同步处理后，进行训练集和测试集的划分；使用滑动窗口将每个信号段分割为多个固定长度的子信号段，并对每个子信号段的肌电数据与运动数据分别提取时域和频域特征；使用卷积神经网络分别提取肌电特征和运动特征的浅层和深层特征，并分别进行融合后输入分类网络，最后在决策层融合，输出每一手势类别的概率，识别模型进行训练后测试得到手势识别率。本发明融合肌电和微惯性测量单元多模态信号的手势识别方法能够充分利用肌电和运动数据各自的优势，故能更准确地识别同一被试的多种不同手势。
-
公开(公告)号：CN113205605B
公开(公告)日：2022-04-19
申请号：CN202110595988.0
申请日：2021-05-29
Applicant: 浙江大学
Abstract: 本发明公开了一种从深度图像中获取手部三维参数化模型的方法，步骤如下：获取深度图像序列和深度相机内参；利用手部的深度图像序列和对应的深度相机参数，重建粗略的手部的三维点云；人工去除粗略的手部三维点云中的非手部点云与噪声点云，得到精细的手部三维点云；通过对精细的手部三维点云三阶段的迭代优化，获取用户个性化的手部三维参数化模型。本方法通过深度图像序列即可获得用户个性化的手部三维参数化模型。由于用户个性化的手部三维参数化模型相比传统无模型或通用手部模型提供了更多基于用户的先验信息，因此本发明可以在进行手势姿态估计时具有更高的精度和适配性，在人机交互，康复医疗等具体场景下具有应用前景。
-
Patent Agency Ranking
公开(公告)号：CN113205074A
公开(公告)日：2021-08-03
申请号：CN202110595989.5
申请日：2021-05-29
Applicant: 浙江大学
Abstract: 本发明公开了一种融合肌电和微惯性测量单元多模态信号的手势识别方法，步骤如下：使用肌电电极和微惯性测量单元采集肌电数据和运动数据，并对两者进行同步处理后，进行训练集和测试集的划分；使用滑动窗口将每个信号段分割为多个固定长度的子信号段，并对每个子信号段的肌电数据与运动数据分别提取时域和频域特征；使用卷积神经网络分别提取肌电特征和运动特征的浅层和深层特征，并分别进行融合后输入分类网络，最后在决策层融合，输出每一手势类别的概率，识别模型进行训练后测试得到手势识别率。本发明融合肌电和微惯性测量单元多模态信号的手势识别方法能够充分利用肌电和运动数据各自的优势，故能更准确地识别同一被试的多种不同手势。
-
公开(公告)号：CN103377568A
公开(公告)日：2013-10-30
申请号：CN201310249787.0
申请日：2013-06-20
Applicant: 浙江大学软件学院(宁波)管理中心(宁波软件教育中心)
IPC: G09B5/06
Abstract: 本发明公开了一种多功能儿童体感教育系统，包括输入模块、处理模块、控制模块、输出模块，特点是还包括数据存取模块、动作解析模块、语音解析模块、音乐解析模块，控制模块包括事物认知控制模块、发音纠正控制模块、舞蹈学习控制模块、乐感培养控制模块和动作编排控制模块，输入模块、处理模块、控制模块和输出模块依次相连，数据存取模块、动作解析模块、语音解析模块、音乐解析模块分别与所述的处理模块相连接，优点是兼具事物认知、发音纠正、舞蹈学习、乐感培养和动作编排的教育方式丰富多样，不仅能够帮助孩子学习知识，还能帮助孩子锻炼身体、陶冶情操、激发想象力等。
-
公开(公告)号：CN100589105C
公开(公告)日：2010-02-10
申请号：CN200810061672.8
申请日：2008-05-23
Applicant: 浙江大学
Abstract: 本发明公开了一种基于示范表演的直观高效的三维人体运动数据检索方法。方法：1)用子空间划分的方法为大容量运动数据库构建运动索引；2)设定运动传感器的全局参考坐标系；3)载入标准三维人体骨架；4)指定运动传感器与标准三维人体骨架节点之间的对应关系；5)通过姿势对齐将运动传感器和标准三维人体骨架进行绑定；6)用运动传感器获得的数据来驱动标准三维人体骨架，获得示范表演运动；7)用子空间划分的方法对示范表演运动进行特征提取；8)载入运动索引，进行定性检索；9)设定参数，在定性检索的基础上进行定量检索。本发明解决了在人物动画制作过程中如何直观、准确的表达动画制作人员的创制意图，实现所需运动数据的快速有效提取的问题。
-
公开(公告)号：CN101308500A
公开(公告)日：2008-11-19
申请号：CN200810061672.8
申请日：2008-05-23
Applicant: 浙江大学
Abstract: 本发明公开了一种基于示范表演的直观高效的三维人体运动数据检索方法。方法：1)用子空间划分的方法为大容量运动数据库构建运动索引；2)设定运动传感器的全局参考坐标系；3)载入标准三维人体骨架；4)指定运动传感器与标准三维人体骨架节点之间的对应关系；5)通过姿势对齐将运动传感器和标准三维人体骨架进行绑定；6)用运动传感器获得的数据来驱动标准三维人体骨架，获得示范表演运动；7)用子空间划分的方法对示范表演运动进行特征提取；8)载入运动索引，进行定性检索；9)设定参数，在定性检索的基础上进行定量检索。本发明解决了在人物动画制作过程中如何直观、准确的表达动画制作人员的创制意图，实现所需运动数据的快速有效提取的问题。
-
公开(公告)号：CN118887326A
公开(公告)日：2024-11-01
申请号：CN202411005182.1
申请日：2024-07-25
Applicant: 浙江大学
Abstract: 本发明公开一种四足生物动画生成方法和系统。本发明通过输入模块、运动状态管理模块和动画生成模块，将四足生物骨骼按照运动层次划分为虚拟盆骨节点、足端‑腿部节点、虚拟盆骨‑脊柱节点，将四足生物全身运动学模拟拆分为多个子部分进行近似求解，得到四足生物各个部分的动画姿势，计算不同部分关键骨骼上的运动参数，综合各个部分生成匹配当前运动状态的全身姿势。本发明通过建立四足生物运动生成模型，有助于游戏中四足生物动画制作的快速开发。对于不同骨骼结构的四足生物，能够在短时间应用并预览动画效果。同时对动画师来说，通过调整相关运动参数，可以实时的直观看到步态、运动风格的变化效果，有助于动画设计师对动画风格的把控。
-
-
-
-
-
-
-
-
-
Search Results
67
records
(took 0.025 seconds)
