-
公开(公告)号：CN116402928A
公开(公告)日：2023-07-07
申请号：CN202310602029.6
申请日：2023-05-26
申请人： 南昌航空大学 , 江西睿创科技有限公司 , 联想新视界(南昌)人工智能工研院有限公司
IPC分类号： G06T13/40
摘要： 一种虚拟谈话数字人生成方法，包括：S1，基于获取的真实录像的谈话视频，通过编码器结合语音特征分离出身份特征和脸部表情特征；S2，将脸部表情特征编码到隐变量空间中，得到谈话视频中的每一帧图像对应的表情隐变量表示；S3，在得到表情隐变量表示后，通过基于注意力机制的Transformer神经网络拟合出谈话音频对应的表情隐变量；S4，解码器基于身份特征和谈话音频对应的表情隐变量生成谈话头像视频；S5，根据谈话视频中的音频特征从全身的身体动作库选取对应的动作组；S6，对谈话头像视频和动作组进行融合，得到全身的虚拟谈话数字人。本发明能够得到形象更加逼真、更接近现实生活中人物的谈话虚拟数字人。
-
公开(公告)号：CN116402928B
公开(公告)日：2023-08-25
申请号：CN202310602029.6
申请日：2023-05-26
申请人： 南昌航空大学 , 江西睿创科技有限公司 , 联想新视界(南昌)人工智能工研院有限公司
IPC分类号： G06T13/40
摘要： 一种虚拟谈话数字人生成方法，包括：S1，基于获取的真实录像的谈话视频，通过编码器结合语音特征分离出身份特征和脸部表情特征；S2，将脸部表情特征编码到隐变量空间中，得到谈话视频中的每一帧图像对应的表情隐变量表示；S3，在得到表情隐变量表示后，通过基于注意力机制的Transformer神经网络拟合出谈话音频对应的表情隐变量；S4，解码器基于身份特征和谈话音频对应的表情隐变量生成谈话头像视频；S5，根据谈话视频中的音频特征从全身的身体动作库选取对应的动作组；S6，对谈话头像视频和动作组进行融合，得到全身的虚拟谈话数字人。本发明能够得到形象更加逼真、更接近现实生活中人物的谈话虚拟数字人。
-
公开(公告)号：CN116342760A
公开(公告)日：2023-06-27
申请号：CN202310594047.4
申请日：2023-05-25
申请人： 南昌航空大学 , 江西睿创科技有限公司 , 联想新视界(南昌)人工智能工研院有限公司
摘要： 本发明提供了一种三维面部动画合成方法、系统、电子设备及存储介质；该方法包括将目标音频转换成相对应的局部特征及全局特征；基于面部网格顶点索引得到具有若干网格顶点的网格特征，并提取若干网格顶点之间的拓扑关系；根据混合特征将基于拓扑关系聚合得到每一网格顶点与目标音频对应的即时位移；将即时位移进行训练处理后和原始头部模板相加得到位移头部模块；通过学习目标音频的梅尔谱图特征与头部姿势之间的关系并限制头部姿势的误差，将限制误差后的头部姿势应用至位移头部模块，以合成三维姿态的面部动画。通过本申请，可避免语音驱动的三维人脸动画合成方法出现面部运动细节及头部姿势的缺失，确保人脸动画合成的真实性及高质量。
-
公开(公告)号：CN116342760B
公开(公告)日：2023-08-04
申请号：CN202310594047.4
申请日：2023-05-25
申请人： 南昌航空大学 , 江西睿创科技有限公司 , 联想新视界(南昌)人工智能工研院有限公司
摘要： 本发明提供了一种三维面部动画合成方法、系统、电子设备及存储介质；该方法包括将目标音频转换成相对应的局部特征及全局特征；基于面部网格顶点索引得到具有若干网格顶点的网格特征，并提取若干网格顶点之间的拓扑关系；根据混合特征将基于拓扑关系聚合得到每一网格顶点与目标音频对应的即时位移；将即时位移进行训练处理后和原始头部模板相加得到位移头部模块；通过学习目标音频的梅尔谱图特征与头部姿势之间的关系并限制头部姿势的误差，将限制误差后的头部姿势应用至位移头部模块，以合成三维姿态的面部动画。通过本申请，可避免语音驱动的三维人脸动画合成方法出现面部运动细节及头部姿势的缺失，确保人脸动画合成的真实性及高质量。
-
公开(公告)号：CN116310153B
公开(公告)日：2023-08-01
申请号：CN202310602036.6
申请日：2023-05-26
申请人： 南昌航空大学 , 联想新视界(南昌)人工智能工研院有限公司 , 江西睿创科技有限公司
摘要： 本发明提供一种单视图彩色三维点云重建方法、系统、存储介质及计算机，该方法包括：利用图像编辑器对兴趣图像进行图像编辑得到形状隐编码及颜色隐编码；基于扩散模型和形状隐编码进行点云重建得到目标点云，并根据颜色隐编码进行颜色预估得到目标点云中各点云的点云颜色；根据目标点云的相机参数得到采样点位置，并基于目标点云及点云颜色计算出各采样点位置的体密度和辐射度渲染出预测点云图像；对预测点云图像的点云颜色及点云形状进行优化及结果微调实现真实物体图像的三维点云重建。本发明以单张视图作为条件，利用扩散模型重建出粗略的物体点云形状及生成颜色，解决现有网络生成质量不高、训练比较困难的问题。
-
公开(公告)号：CN116309032B
公开(公告)日：2023-07-28
申请号：CN202310587379.X
申请日：2023-05-24
申请人： 南昌航空大学 , 联想新视界(南昌)人工智能工研院有限公司 , 江西睿创科技有限公司
IPC分类号： G06T3/00 , G06N3/0455 , G06N3/09 , G06N3/084
摘要： 本发明提供一种图片处理方法、系统及计算机，方法包括：生成内容数据集及风格数据集；选取待测图片，获取其待测风格编码，基于待测风格编码获取有监督对比学习损失；选取待迁图片，将待迁图片转化为待定图片，根据待定图片获取内容损失及风格损失；结合有监督对比学习损失、内容损失及风格损失进行训练，获取最终编码器及最终解码器；获取全部的画作图片的风格编码，将风格编码映射为噪声；根据风格编码及噪声获取分布损失，获取最终条件可逆网络ccnf；以画作图片或画家名字为迁移条件，将基础图片转换为结果图片。通过上述步骤，实现多种迁移选择，画家风格迁移可分辨作画时差别，获取多样化的结果图片，解决多阈及多样化问题。
-
公开(公告)号：CN116309032A
公开(公告)日：2023-06-23
申请号：CN202310587379.X
申请日：2023-05-24
申请人： 南昌航空大学 , 联想新视界(南昌)人工智能工研院有限公司 , 江西睿创科技有限公司
IPC分类号： G06T3/00 , G06N3/0455 , G06N3/09 , G06N3/084
摘要： 本发明提供一种图片处理方法、系统及计算机，方法包括：生成内容数据集及风格数据集；选取待测图片，获取其待测风格编码，基于待测风格编码获取有监督对比学习损失；选取待迁图片，将待迁图片转化为待定图片，根据待定图片获取内容损失及风格损失；结合有监督对比学习损失、内容损失及风格损失进行训练，获取最终编码器及最终解码器；获取全部的画作图片的风格编码，将风格编码映射为噪声；根据风格编码及噪声获取分布损失，获取最终条件可逆网络ccnf；以画作图片或画家名字为迁移条件，将基础图片转换为结果图片。通过上述步骤，实现多种迁移选择，画家风格迁移可分辨作画时差别，获取多样化的结果图片，解决多阈及多样化问题。
-
公开(公告)号：CN116310153A
公开(公告)日：2023-06-23
申请号：CN202310602036.6
申请日：2023-05-26
申请人： 南昌航空大学 , 联想新视界(南昌)人工智能工研院有限公司 , 江西睿创科技有限公司
摘要： 本发明提供一种单视图彩色三维点云重建方法、系统、存储介质及计算机，该方法包括：利用图像编辑器对兴趣图像进行图像编辑得到形状隐编码及颜色隐编码；基于扩散模型和形状隐编码进行点云重建得到目标点云，并根据颜色隐编码进行颜色预估得到目标点云中各点云的点云颜色；根据目标点云的相机参数得到采样点位置，并基于目标点云及点云颜色计算出各采样点位置的体密度和辐射度渲染出预测点云图像；对预测点云图像的点云颜色及点云形状进行优化及结果微调实现真实物体图像的三维点云重建。本发明以单张视图作为条件，利用扩散模型重建出粗略的物体点云形状及生成颜色，解决现有网络生成质量不高、训练比较困难的问题。
-
公开(公告)号：CN113793343A
公开(公告)日：2021-12-14
申请号：CN202110970838.3
申请日：2021-08-23
申请人： 南昌航空大学 , 联想新视界(南昌)人工智能工研院有限公司
摘要： 本发明提供了本发明提供一种基于图像的缺陷定位分割方法、系统、终端及存储介质，属于工业品缺陷图像识别的技术领域。本发明通过对小批量的缺陷样本图像进行缺陷数据扩增，将扩增的缺陷数据输入至深度学习的自编码器的神经网络进行迭代训练，将迭代训练过程中误差小的网络参数保存固定下来，载入神经网络得到具有预设网络参数的无监督神经网络，将待测缺陷图像的缺陷数据输具有预设网络参数的无监督神经网络，得到该待测缺陷图像的低秩背景图像，将待测缺陷图像和低秩背景图像进行阈值分割，得到所述待测缺陷图像精细化的缺陷分割定位结果。本发明具有速度快、精度高、鲁棒性好和环境适应能力强的优点。
-
公开(公告)号：CN113448477A
公开(公告)日：2021-09-28
申请号：CN202111008172.X
申请日：2021-08-31
申请人： 南昌航空大学 , 联想新视界(南昌)人工智能工研院有限公司
IPC分类号： G06F3/0484 , G06F40/30 , G06K9/62 , G06N3/04
摘要： 一种交互式图像编辑方法、装置、可读存储介质及电子设备，该方法包括：对原始图像进行属性特征提取，得到图像属性特征；对所述原始图像对应的描述性文本进行上下文语义的词嵌入与编码得到文本特征；对所述图像属性特征与文本特征进行融合，得到融合特征；提取所述原始图像的整体结构特征；将所述整体结构特征与所述融合特征做空间注意力融合处理，得到被编辑区域的修正结构特征；对被编辑区域的修正结构特征做非编辑区域的结构特征补全，得到修正后的整体结构特征；将修正后的整体结构特征输入至生成器中，以使所述生成器基于融合特征指导，生成与所述描述性文本匹配的图像。
-
-
-
-
-
-
-
-
-
搜索结果
73 条记录 (耗时 0.105 秒)
