公开(公告)号：CN115775284A

公开(公告)日：2023-03-10

申请号：CN202211505806.7

申请日：2022-11-29

申请人： 杭州电子科技大学

发明人： 俞俊 ,  沈铭 ,  丁佳骏 ,  刘贝利 ,  范梦婷 ,  杨苏杭 ,  赵天宁 ,  陈盛款

IPC分类号： G06T11/20 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/08 ,  G06N3/084

摘要： 本发明公开了一种新的基于残差学习和多尺度学习的文本生成图像的分阶段多路径网络架构，用于提高提取图像不同尺度的特征，生成细节更具细粒度的图像，来提高文本生成图像跨模态任务的生成效果。本发明提出的是一种新的改进后的生成对抗神经网络架构，来提高图像生成的清晰度。利用分阶段残差连接将相邻阶段信息的信息和文本信息组成的特征图直接传递到当前阶段的末尾，参与到当前阶段的图像生成中，避免了长时间存储的要求，提高当前阶段的生成效果。多尺度学习利用多个不同卷积核大小的并行路径提取输入图像的特征，适当集成来自不同空间的特征图获取更高质量的特征和细粒度的文本细节。

公开(公告)号：CN114332565A

公开(公告)日：2022-04-12

申请号：CN202111670694.6

申请日：2021-12-31

申请人： 杭州电子科技大学

发明人： 俞俊 ,  刘贝利 ,  丁佳骏 ,  范建平 ,  付圣祺 ,  沈铭

IPC分类号： G06V10/774 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于分布估计的条件生成对抗网络文本生成图像方法用。本发明步骤如下：步骤(1)、数据预处理，提取文本数据的特征；步骤(2)、建立多阶段的无条件和有条件联合生成对抗神经网络和损失函数；步骤(3)、引入基于分布估计的损失函数；步骤(4)、模型训练；根据得到的新的损失函数，在训练过程中对判别器Di和生成器Gi进行交替训练。本发明损失隐式地体现了单个文本生成无限次图像的影响，优化的目标为单个文本描述生成图像的特征分布。通过估计单个文本描述生成的图像的特征分布，来实现损失计算及梯度信息回传。在多个模型和数据集上的实验表明，基于分布估计的新损失函数能够有效提升文本生成图像模型的性能。