-
公开(公告)号:CN114495118B
公开(公告)日:2022-08-09
申请号:CN202210392274.4
申请日:2022-04-15
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了基于对抗解耦的个性化手写文字生成方法,包括以下步骤:构建风格向量提取器和内容分类器;以所述的风格向量提取器为生成器,以所述的内容分类器为判别器,进行生成对抗学习;将手写文字图片输入学习后的风格向量提取器,获得手写风格向量;将待生成的目标文字通过内容嵌入层映射为内容向量;拼接所述的手写风格向量和所述的内容向量,然后在融合初始序列,获得解码向量;将所述的解码向量输入解码器进行解码,获得具有手写风格的目标文字的轨迹预测序列。本发明方法能够通过对抗解耦的方式,利用对抗网络帮助风格提取器消除风格向量中夹杂的内容信息,提取出干净的风格向量,进而提升个性化手写文字的生成效果。
-
公开(公告)号:CN114495118A
公开(公告)日:2022-05-13
申请号:CN202210392274.4
申请日:2022-04-15
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了基于对抗解耦的个性化手写文字生成方法,包括以下步骤:构建风格向量提取器和内容分类器;以所述的风格向量提取器为生成器,以所述的内容分类器为判别器,进行生成对抗学习;将手写文字图片输入学习后的风格向量提取器,获得手写风格向量;将待生成的目标文字通过内容嵌入层映射为内容向量;拼接所述的手写风格向量和所述的内容向量,然后在融合初始序列,获得解码向量;将所述的解码向量输入解码器进行解码,获得具有手写风格的目标文字的轨迹预测序列。本发明方法能够通过对抗解耦的方式,利用对抗网络帮助风格提取器消除风格向量中夹杂的内容信息,提取出干净的风格向量,进而提升个性化手写文字的生成效果。
-
公开(公告)号:CN118710996A
公开(公告)日:2024-09-27
申请号:CN202411191850.4
申请日:2024-08-28
Applicant: 华南理工大学
IPC: G06V10/764 , G06N3/0455 , G06N3/098 , G06V10/77 , G06V10/82
Abstract: 本发明公开了一种基于扩散驱动数据回放的联邦类持续学习图像分类方法,所述方法包括:初始化阶段,服务器初始化预训练扩散模型和图像分类模型并发送给客户端;类别逆向编码阶段,客户端对新任务类别进行逆向编码,得到类别嵌入向量;图像生成阶段,利用类别嵌入向量生成图像;图像分类模型训练阶段,各个客户端用生成数据和合成数据训练图像分类模型。对于联邦类持续学习图像分类,其关键难点在于灾难性遗忘,即模型在学习新任务时遗忘旧任务的知识,为解决这一难点,通过预训练扩散模型对各个类别数据进行逆向工程,得到类别嵌入向量,在学习新任务时利用类别嵌入向量对历史任务数据进行生成回放,有效缓解灾难性遗忘。
-
公开(公告)号:CN118762103B
公开(公告)日:2025-01-24
申请号:CN202411240512.5
申请日:2024-09-05
Applicant: 华南理工大学
IPC: G06T11/20 , G06V30/18 , G06V30/19 , G06V30/22 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0475 , G06N3/0895 , G06N3/092
Abstract: 本发明公开了一种基于扩散模型的单样本手写文字临摹方法,包括以下步骤:构建能够临摹任意手写风格的扩散模型生成网络,包括风格特征增强模块,内容编码器,自适应融合模块,条件扩散模型;以手写样本图像和标准字体图像作为风格输入和内容输入,分别经内容编码器和风格编码器提取出风格特征和内容特征,然后将风格和内容特征同时输入到条件扩散模型中生成具有目标风格和内容的手写文字;训练所述的能够临摹任意手写风格扩散模型生成网络;使用训练好的扩散模型生成网络来生成同时满足目标风格和目标内容的手写文字。本发明方法结合高频信息提取和门控机制,能够提取更加准确的用户手写风格,引导条件扩散模型合成更加逼真的风格化手写文字。
-
公开(公告)号:CN118710996B
公开(公告)日:2024-12-06
申请号:CN202411191850.4
申请日:2024-08-28
Applicant: 华南理工大学
IPC: G06V10/764 , G06N3/0455 , G06N3/098 , G06V10/77 , G06V10/82
Abstract: 本发明公开了一种基于扩散驱动数据回放的联邦类持续学习图像分类方法,所述方法包括:初始化阶段,服务器初始化预训练扩散模型和图像分类模型并发送给客户端;类别逆向编码阶段,客户端对新任务类别进行逆向编码,得到类别嵌入向量;图像生成阶段,利用类别嵌入向量生成图像;图像分类模型训练阶段,各个客户端用生成数据和合成数据训练图像分类模型。对于联邦类持续学习图像分类,其关键难点在于灾难性遗忘,即模型在学习新任务时遗忘旧任务的知识,为解决这一难点,通过预训练扩散模型对各个类别数据进行逆向工程,得到类别嵌入向量,在学习新任务时利用类别嵌入向量对历史任务数据进行生成回放,有效缓解灾难性遗忘。
-
公开(公告)号:CN118762103A
公开(公告)日:2024-10-11
申请号:CN202411240512.5
申请日:2024-09-05
Applicant: 华南理工大学
IPC: G06T11/20 , G06V30/18 , G06V30/19 , G06V30/22 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0475 , G06N3/0895 , G06N3/092
Abstract: 本发明公开了一种基于扩散模型的单样本手写文字临摹方法,包括以下步骤:构建能够临摹任意手写风格的扩散模型生成网络,包括风格特征增强模块,内容编码器,自适应融合模块,条件扩散模型;以手写样本图像和标准字体图像作为风格输入和内容输入,分别经内容编码器和风格编码器提取出风格特征和内容特征,然后将风格和内容特征同时输入到条件扩散模型中生成具有目标风格和内容的手写文字;训练所述的能够临摹任意手写风格扩散模型生成网络;使用训练好的扩散模型生成网络来生成同时满足目标风格和目标内容的手写文字。本发明方法结合高频信息提取和门控机制,能够提取更加准确的用户手写风格,引导条件扩散模型合成更加逼真的风格化手写文字。
-
-
-
-
-