-
公开(公告)号:CN117478824A
公开(公告)日:2024-01-30
申请号:CN202311817963.6
申请日:2023-12-27
申请人: 苏州元脑智能科技有限公司
IPC分类号: H04N7/15 , H04N21/81 , H04N21/44 , H04N21/433
摘要: 本发明提供一种会议视频生成方法、装置、电子设备及存储介质,涉及数据处理技术领域,包括:接收用户对第一虚拟会议的会议记录界面中第一关键事件的记录标识的第一输入;响应于所述第一输入,生成第一关键事件对应的第一视频片段;接收用户对所述第一视频片段对应第一视频效果优化界面的第二输入,所述第二输入用于确定所述第一视频片段的第一视频效果描述文本;响应于所述第二输入,将所述第一视频效果描述文本、所述第一视频效果描述文本对应的第一轨迹信息和所述第一视频片段输入虚拟会议效果生成模型,输出第一视频效果的第一视频片段。
-
公开(公告)号:CN117994397B
公开(公告)日:2024-06-21
申请号:CN202410374550.3
申请日:2024-03-29
申请人: 苏州元脑智能科技有限公司
IPC分类号: G06T13/40 , G06F18/214 , G06F18/25 , G06F18/213 , G06N3/0455 , G06N3/0499 , G06N3/082 , G06F16/35 , G06F16/33
摘要: 本申请涉及一种数字人文本动作生成方法、装置、计算机设备和存储介质,所属领域为数字人技术领域,所述方法包括:获取大数据集和小数据集;根据大数据集,确定目标训练集,基于目标训练集和多目标损失函数对第一数字人文本动作模型进行预训练,得到其第一参数;根据目标任务场景,选取第一数字人文本动作模型中的多个组成结构,生成第二数字人文本动作模型,并基于小数据集,对第二数字人文本动作模型进行训练,生成目标数字人文本动作模型;基于目标数字人文本动作模型,对数字人文本动作生成指令对应的数据信息进行特征提取及融合,生成目标数字人文本动作。本申请可以有效提高数字人文本动作生成的效率和准确度。
-
公开(公告)号:CN117478825B
公开(公告)日:2024-04-16
申请号:CN202311824647.1
申请日:2023-12-27
申请人: 苏州元脑智能科技有限公司
IPC分类号: H04N7/15 , H04N21/44 , H04N21/433 , H04N21/8549
摘要: 本发明公开了一种虚拟会议的视频集锦获取方法、系统、设备及存储介质,涉及虚拟现实领域,为解决生成虚拟会议的视频集锦需要占用大量存储资源的问题,该视频集锦获取方法包括:确定虚拟会议中的多个关键事件;针对每一关键事件,确定关键事件的拍摄对象,控制虚拟相机对拍摄对象进行拍摄,得到关键事件的多个备选视频片段,将多个备选视频片段输入预设美学评价模型,得到各个备选视频片段的美学评分,将美学评分最高的备选视频片段确定为关键事件的输出视频片段;对各个关键事件的输出视频片段进行拼接,得到虚拟会议的视频集锦。本发明能够节省存储、时间与人力资源,保证视频集锦完整性的同时,提高视觉吸引力。
-
公开(公告)号:CN117808944A
公开(公告)日:2024-04-02
申请号:CN202410231133.3
申请日:2024-02-29
申请人: 苏州元脑智能科技有限公司
IPC分类号: G06T13/40 , G06F40/30 , G06N3/0464 , G06N3/08
摘要: 本申请实施例提供了一种数字人的文本动作数据处理方法、装置、存储介质及电子装置,其中,该方法包括:确定需要对目标数据执行的目标处理;从预定模型中确定出支持执行所述目标处理的目标模型;将所述目标数据输入至所述目标模型,以得到所述目标模型对所述目标数据执行所述目标处理的处理结果。
-
公开(公告)号:CN117808944B
公开(公告)日:2024-05-24
申请号:CN202410231133.3
申请日:2024-02-29
申请人: 苏州元脑智能科技有限公司
IPC分类号: G06T13/40 , G06F40/30 , G06N3/0464 , G06N3/08
摘要: 本申请实施例提供了一种数字人的文本动作数据处理方法、装置、存储介质及电子装置,其中,该方法包括:确定需要对目标数据执行的目标处理;从预定模型中确定出支持执行所述目标处理的目标模型;将所述目标数据输入至所述目标模型,以得到所述目标模型对所述目标数据执行所述目标处理的处理结果。
-
公开(公告)号:CN117972435A
公开(公告)日:2024-05-03
申请号:CN202410374575.3
申请日:2024-03-29
申请人: 苏州元脑智能科技有限公司
IPC分类号: G06F18/214 , G06F18/22 , G06N3/0455 , G06N3/082
摘要: 本发明涉及人工智能技术领域,公开了一种数字人文本动作模型训练方法及数字人动作生成方法,该方法包括:获取数字人文本动作模型的模型训练样本集;对文本序列样本和动作序列样本进行随机掩码处理,得到文本掩码序列和动作掩码序列;基于预设预训练模型,根据文本掩码序列和动作掩码序列,确定若干种预训练模型损失,优化预设预训练模型的模型参数,以得到目标预训练模型;基于目标下游任务样本集,对目标预训练模型进行模型参数微调。通过构建适用于多种下游任务的目标预训练模型,后续再按照目标下游任务,对目标预训练模型进行针对性的模型参数微调,减少了数字人文本动作模型训练的工作量,也就提高了模型的训练效率。
-
公开(公告)号:CN117808987A
公开(公告)日:2024-04-02
申请号:CN202410218859.3
申请日:2024-02-28
申请人: 苏州元脑智能科技有限公司
IPC分类号: G06T17/05 , G06N3/0499
摘要: 本发明提供一种室内场景三维重建方法、装置、电子设备及存储介质,涉及计算机技术领域,通过获取室内场景点云数据,从所述点云数据中提取出多个语义构件单元;根据语义构件单元的位置信息和尺寸信息生成场景布局图;将每个语义构件单元划分至对应场景构件语义类别,根据场景布局图中每个固定构件对应的构件类别生成固定构件实体结构,以及,以附属对象对应的对象类别为索引搜索预设对象模型资产库,获取附属对象对应的对象模型;将固定构件实体结构以及附属对象对应的对象模型在场景布局图中进行组装,得到室内场景的三维模型,本发明可以减少重建过程中数据处理量,并且,可以提升固定构件和附属对象几何表面的精细度。
-
公开(公告)号:CN117475066A
公开(公告)日:2024-01-30
申请号:CN202311835528.6
申请日:2023-12-28
申请人: 苏州元脑智能科技有限公司
IPC分类号: G06T15/04 , G06N3/0499 , G06N3/084
摘要: 本发明提供一种材质贴图处理方法、装置、电子设备及存储介质,涉及人工智能技术领域,通过获取待处理材质贴图文件,计算所述待处理材质贴图文件中每种材质类型对应的基准贴图;根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图;将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩,得到每种材质类型对应的贴图特征表示,其中,所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到,可以实现对同一材质的不同贴图进行同时压缩,实现紧凑的材质贴图表示,并且,通过基准贴图和偏移量贴图,可以提高各贴图数据之间的相似程度,有利于提高后续压缩过程的压缩率。
-
公开(公告)号:CN117972435B
公开(公告)日:2024-06-25
申请号:CN202410374575.3
申请日:2024-03-29
申请人: 苏州元脑智能科技有限公司
IPC分类号: G06F18/214 , G06F18/22 , G06N3/0455 , G06N3/082
摘要: 本发明涉及人工智能技术领域,公开了一种数字人文本动作模型训练方法及数字人动作生成方法,该方法包括:获取数字人文本动作模型的模型训练样本集;对文本序列样本和动作序列样本进行随机掩码处理,得到文本掩码序列和动作掩码序列;基于预设预训练模型,根据文本掩码序列和动作掩码序列,确定若干种预训练模型损失,优化预设预训练模型的模型参数,以得到目标预训练模型;基于目标下游任务样本集,对目标预训练模型进行模型参数微调。通过构建适用于多种下游任务的目标预训练模型,后续再按照目标下游任务,对目标预训练模型进行针对性的模型参数微调,减少了数字人文本动作模型训练的工作量,也就提高了模型的训练效率。
-
公开(公告)号:CN117994397A
公开(公告)日:2024-05-07
申请号:CN202410374550.3
申请日:2024-03-29
申请人: 苏州元脑智能科技有限公司
IPC分类号: G06T13/40 , G06F18/214 , G06F18/25 , G06F18/213 , G06N3/0455 , G06N3/0499 , G06N3/082 , G06F16/35 , G06F16/33
摘要: 本申请涉及一种数字人文本动作生成方法、装置、计算机设备和存储介质,所属领域为数字人技术领域,所述方法包括:获取大数据集和小数据集;根据大数据集,确定目标训练集,基于目标训练集和多目标损失函数对第一数字人文本动作模型进行预训练,得到其第一参数;根据目标任务场景,选取第一数字人文本动作模型中的多个组成结构,生成第二数字人文本动作模型,并基于小数据集,对第二数字人文本动作模型进行训练,生成目标数字人文本动作模型;基于目标数字人文本动作模型,对数字人文本动作生成指令对应的数据信息进行特征提取及融合,生成目标数字人文本动作。本申请可以有效提高数字人文本动作生成的效率和准确度。
-
-
-
-
-
-
-
-
-