一种三维艺术字生成方法、系统、存储介质及设备

    公开(公告)号:CN118608703A

    公开(公告)日:2024-09-06

    申请号:CN202411087356.3

    申请日:2024-08-09

    申请人: 山东大学

    摘要: 本发明涉及图像处理技术领域,本发明公开了一种三维艺术字生成方法、系统、存储介质及设备,包括:将神经辐射场作为三维艺术字,并在渲染方位角上对三维艺术字进行渲染,得到第一渲染蒙版,计算第一渲染蒙版和字体蒙版的均方误差损失,对神经辐射场进行更新;对三维艺术字进行渲染,并注入噪声后,与打包数据和文本输入一起输入文本到图像扩散模型,得到分数蒸馏损失,对神经辐射场进行更新;对三维艺术字进行渲染,得到第二渲染蒙版,对于第一渲染蒙版、字体蒙版和第二渲染蒙版赋予权重,计算多视图蒙版损失,对神经辐射场进行更新。提升了生成的3D艺术字体的可识别性,并且实现了文本引导的风格化与蒙版引导的字体结构的保留之间的平衡。

    基于单张高光图像的SVBRDF材质建模方法及系统

    公开(公告)号:CN114926593B

    公开(公告)日:2024-07-19

    申请号:CN202210662982.5

    申请日:2022-06-13

    申请人: 山东大学

    摘要: 本公开提供了一种基于单张高光图像的SVBRDF材质建模方法及系统,所述方案属于三维渲染材质技术领域,所述方案包括:获取物体材质表面的高光图像;将所述高光图像,通过基于密集特征融合连接和高光多级识别的方式进行高光消除,获得无高光图像;将所述高光图像和无高光图像输入预先训练的生成器网络中,获得物体表面的空间变化双向反射率分布函数,进而获得对应的材质贴图;其中,所述生成器网络包括共享编码器和分别与所述共享编码器连接的若干个解码器,所述解码器分别对应于漫反射贴图、法线贴图、粗糙度贴图及反射贴图的处理。

    基于笔画级引导扩散模型的复杂场景文本编辑方法及系统

    公开(公告)号:CN117475035A

    公开(公告)日:2024-01-30

    申请号:CN202311532503.9

    申请日:2023-11-16

    申请人: 山东大学

    摘要: 本发明提供了一种基于笔画级引导扩散模型的复杂场景文本编辑方法及系统,属于计算机视觉图像生成技术领域。本发明利用笔画水平引导来促进网络学习文本转换规则,利用增强的文本信息来进一步限制文本区域,从而在文本准确性和风格方面都有显著的改进;本发明提出了基于全局信息的背景重建模块,利用全场景信息重建背景,并使用真实世界的数据集对其进行微调;本发明使用笔画级引导信息提高了文本生成的准确性,利用整个场景图像的信息来完成背景重建任务,能够更准确的生成目标文本,提高了重建复杂背景的效果。

    基于手绘草图的图像自动生成方法及系统

    公开(公告)号:CN115984400A

    公开(公告)日:2023-04-18

    申请号:CN202310017592.7

    申请日:2023-01-06

    申请人: 山东大学

    摘要: 本发明公开了基于手绘草图的图像自动生成方法及系统,涉及计算机视觉图像处理技术领域。包括:获取手绘草图和草图对应的彩色图像,构建训练集与测试集;构建图像自动生成模型,使用训练集数据对图像自动生成模型进行对抗训练;将测试集输入至训练好的图像自动生成模型中,生成对应的彩色图像。本发明图像自动生成模型中形状判别器关注生成图像的形状,约束生成图像的形状,使生成图像形状合理化,针对性地解决了生成图像中物体形变、线条扭曲等问题;而图像全局注意力模块关注生成图像的整体,使生成图像的整体色泽、纹理等与图像形状适配,解决色泽、纹理失真的问题,二者结合提高了生成图像的质量。

    一种基于深度元学习的汉字字库生成方法及系统

    公开(公告)号:CN113011337B

    公开(公告)日:2022-08-30

    申请号:CN202110297468.1

    申请日:2021-03-19

    申请人: 山东大学

    摘要: 本公开提供了一种基于深度元学习的汉字字库生成方法及系统,在元训练阶段,模型通过随机的字体生成任务,在已有字体库中学习汉字结构的先验知识,来增强对有着少样本的新字体的泛化能力;在元训练阶段结束后,字体生成模型通过对抗训练的微调快速适应有着少样本的新字体的生成;仅需要极少的新字体的样本(0.47%)即可自动地生成有着大规模汉字的新的中文字体库。本公开针对少样本中文字体库的自动生成问题给出了一种可行有效的方法,极大地提高了字体库制作的效率和生成的中文字体的质量。

    基于深度学习的从布局到场景图像的自动生成方法及系统

    公开(公告)号:CN114943322A

    公开(公告)日:2022-08-26

    申请号:CN202210372997.8

    申请日:2022-04-11

    申请人: 山东大学

    摘要: 本发明涉及计算机视觉技术领域,本发明公开了基于深度学习的从布局到场景图像的自动生成方法及系统,包括:获取输入的布局;所述布局,包括:不同边界框的位置、尺寸和类别;把获取到的布局输入至训练好的生成器中,输出与布局一致的场景图像;其中,所述生成器通过与判别器的对抗学习来提高自己的图像生成能力,生成器的多层特征被转换为不同尺度的边缘图,从而实现多尺度学习;通过提取与融合生成器的多层特征中包含的边缘信息,完成对布局中各个物体边缘的迭代优化。

    一种光线追踪加速方法
    7.
    发明授权

    公开(公告)号:CN112712581B

    公开(公告)日:2022-08-12

    申请号:CN202110038868.0

    申请日:2021-01-12

    摘要: 本发明提供了一种光线追踪加速方法,利用处理器的主核获取场景的几何数据;根据获得的几何数据,利用处理器的主核和从核并行构建场景的k‑d树加速结构;根据构建的场景k‑d树加速结构,采用光线追踪算法,进行光线遍历过程,找到每条光线与场景模型表面的交点。本发明可以充分利用众核处理器的主核和从核各自特点来加速构建高质量的k‑d树,保证光路遍历阶段的高效性,减少光路追踪算法的总时间。

    针对关系不确定性的引文网络节点分类方法及系统

    公开(公告)号:CN112836050B

    公开(公告)日:2022-05-17

    申请号:CN202110154722.2

    申请日:2021-02-04

    申请人: 山东大学

    IPC分类号: G06F16/35 G06F16/901 G06N3/04

    摘要: 本发明公开了针对关系不确定性的引文网络节点分类方法及系统,包括:获取待预测类别标签的论文,获取已知类别标签的引文网络;根据所述待预测类别标签的论文和所述已知类别标签的引文网络,构建元路径邻居图;基于元路径邻居图,生成若干个泛化图;将所有泛化图,均输入到预训练后的图卷积神经网络中,输出待预测类别标签论文的类别标签。本发明通过对异质图的元路径邻居图进行重构,解决了异质图中关系的不确定性问题,同时经过泛化得到更多的图结构样本增加训练数据中的对抗性实例的数量,从而增强了模型的鲁棒性。

    基于多任务对抗学习网络的汉字风格迁移方法及系统

    公开(公告)号:CN111553246B

    公开(公告)日:2022-04-01

    申请号:CN202010333081.2

    申请日:2020-04-24

    申请人: 山东大学

    IPC分类号: G06V30/32 G06N3/04 G06N3/08

    摘要: 本公开公开了基于多任务对抗学习网络的汉字风格迁移方法及系统,包括:获取待风格迁移的汉字图像;将待风格迁移的汉字图像,输入到训练后的多任务对抗学习网络中;训练后的多任务对抗学习网络,输出风格迁移后的多种字体图像。本公开使用一个统一的编码器来学习对所有目标字体都很重要的参考字体的通用视觉模式,以最大限度地跨任务传播特征级信息,并将特定于任务的特征保留到各自的网络通道中,这种多任务训练策略使得汉字风格迁移网络训练更加稳定,提高了网络的泛化能力,同时生成的字体风格更加和目标字体一致,笔画边界清晰。

    面向异形金属屏幕的多投影融合方法及系统

    公开(公告)号:CN112118435B

    公开(公告)日:2021-06-25

    申请号:CN202010772263.X

    申请日:2020-08-04

    申请人: 山东大学

    摘要: 本申请公开了面向异形金属屏幕的多投影融合方法及系统,包括:多台摄像机、多台投影仪、异形金属屏幕、Kinect和服务器;服务器根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像,计算投影仪物理像素坐标与幕布空间坐标之间的映射关系,同时输出阶梯图像;服务器根据阶梯图像和曝光拍摄数据,计算各个投影仪在不同拍摄机位上的亮度修正参数,根据各个投影仪在不同拍摄机位上的亮度修正参数,获取不同机位亮度融合数据图像;Kinect根据投影仪物理像素坐标与幕布空间坐标之间的映射关系,和不同机位亮度融合数据图像,实现最终的图像投影。