公开(公告)号：CN113869007B

公开(公告)日：2024-04-23

申请号：CN202111183091.3

申请日：2021-10-11

Applicant: 大连理工大学

Inventor： 姚晨辉 ,  赵亮 ,  李欣炜 ,  黄平达 ,  马希达 ,  刘卓

IPC: G06F40/126 ,  G06F40/194 ,  G06F40/30 ,  G06F16/583 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/08

Abstract: 本申请提供了一种基于深度学习的文本生成图像学习方法，属于计算机视觉领域。我们提出TRGAN学习模型，TRGAN包含两个模块:联合注意堆叠生成模块和文本生成模块反向修正和校正模块。在JASGM模块中，从词级信息中提取详细的特征信息图像是基于全局句子注意力生成的。在TGOCM模块中，文本描述反向生成，可以通过匹配词级特征向量来提高初始图像的质量。本发明依照上述特征所构建的模型推导出了一种行之有效的算法来处理上述问题，通过大量实验验证，本发明所得到的数据表示性能优于现阶段相关模型。

公开(公告)号：CN112465118A

公开(公告)日：2021-03-09

申请号：CN202011343299.2

申请日：2020-11-26

Applicant: 大连理工大学

Inventor： 高静 ,  陈志奎 ,  赵文瀚 ,  姚晨辉 ,  李朋 ,  张佳宁

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 一种面向医学影像生成的低秩生成式对抗网络构建方法，属于深度学习领域，构建步骤为：1)利用主成分模式近似GAN模型中的全秩卷积操作，基于张量CP分解的计算规则构建低秩卷积操作；2)利用步骤1的低秩卷积操作，构建低秩维度卷积层和低秩通道卷积层代替全秩卷积层，在低秩卷积层间添加ReLU激活函数和批正则化项，调整低秩卷积层的数据分布，设计低秩生成模型；3)融合低秩生成模型和全秩判别模型，构建完整的医学影像低秩生成式对抗网络。本发明提出的方法具有如下效果：该低秩生成对抗方法在医学影像生成任务中有效地降低了FLOPs、内存及显存和空间的占用等计算资源，同时，具有良好的生成效果。

公开(公告)号：CN112465118B

公开(公告)日：2022-09-16

申请号：CN202011343299.2

申请日：2020-11-26

Applicant: 大连理工大学

Inventor： 高静 ,  陈志奎 ,  赵文瀚 ,  姚晨辉 ,  李朋 ,  张佳宁

IPC: G06N3/04 ,  G06N3/08

Abstract: 一种面向医学影像生成的低秩生成式对抗网络构建方法，属于深度学习领域，构建步骤为：1)利用主成分模式近似GAN模型中的全秩卷积操作，基于张量CP分解的计算规则构建低秩卷积操作；2)利用步骤1的低秩卷积操作，构建低秩维度卷积层和低秩通道卷积层代替全秩卷积层，在低秩卷积层间添加ReLU激活函数和批正则化项，调整低秩卷积层的数据分布，设计低秩生成模型；3)融合低秩生成模型和全秩判别模型，构建完整的医学影像低秩生成式对抗网络。本发明提出的方法具有如下效果：该低秩生成对抗方法在医学影像生成任务中有效地降低了FLOPs、内存及显存和空间的占用等计算资源，同时，具有良好的生成效果。

公开(公告)号：CN113869007A

公开(公告)日：2021-12-31

申请号：CN202111183091.3

申请日：2021-10-11

Applicant: 大连理工大学

Inventor： 姚晨辉 ,  赵亮 ,  李欣炜 ,  黄平达 ,  马希达 ,  刘卓

IPC: G06F40/126 ,  G06F40/194 ,  G06F40/30 ,  G06F16/583 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供了一种基于深度学习的文本生成图像学习模型，属于计算机视觉领域。我们提出TRGAN学习模型，TRGAN包含两个模块:联合注意堆叠生成模块和文本生成模块反向修正和校正模块。在JASGM模块中，从词级信息中提取详细的特征信息图像是基于全局句子注意力生成的。在TGOCM模块中，文本描述反向生成，可以通过匹配词级特征向量来提高初始图像的质量。本发明依照上述特征所构建的模型推导出了一种行之有效的算法来处理上述问题，通过大量实验验证，本发明所得到的数据表示性能优于现阶段相关模型。

公开(公告)号：CN114022372A

公开(公告)日：2022-02-08

申请号：CN202111238985.8

申请日：2021-10-25

Applicant: 大连理工大学

Inventor： 赵亮 ,  刚占鑫 ,  姚晨辉 ,  高树达 ,  马希达

IPC: G06T5/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种引入语义损失上下文编码器的掩膜图像修补方法，属于掩膜图像修补领域。包括以下步骤：首先，数据集的处理和分割后，利用上下文编码器算法的编码器—解码器结构完成从掩膜图片到生成图像的生成。其次，利用注意生成对抗网络的生成器完成生成图像的生成并同上下文编码器模块生成的图像进行交叉熵计算。最后，利用深度注意力多模态相似模型计算图片和文本之间的损失。本发明通过引入语义损失弥补了传统的深度学习方法对于大范围掩图像修补的性能较差的缺点，在该种图像修复领域有着更好的表现。

公开(公告)号：CN114022372B

公开(公告)日：2024-04-16

申请号：CN202111238985.8

申请日：2021-10-25

Applicant: 大连理工大学

Inventor： 赵亮 ,  刚占鑫 ,  姚晨辉 ,  高树达 ,  马希达

IPC: G06T5/77 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提供一种引入语义损失上下文编码器的掩膜图像修补方法，属于掩膜图像修补领域。包括以下步骤：首先，数据集的处理和分割后，利用上下文编码器算法的编码器—解码器结构完成从掩膜图片到生成图像的生成。其次，利用注意生成对抗网络的生成器完成生成图像的生成并同上下文编码器模块生成的图像进行交叉熵计算。最后，利用深度注意力多模态相似模型计算图片和文本之间的损失。本发明通过引入语义损失弥补了传统的深度学习方法对于大范围掩图像修补的性能较差的缺点，在该种图像修复领域有着更好的表现。