公开(公告)号：CN119886228A

公开(公告)日：2025-04-25

申请号：CN202510370364.7

申请日：2025-03-27

Applicant: 南京信息工程大学

Inventor： 林妍 ,  薛羽 ,  于小兵 ,  杨强 ,  申晓宁 ,  金婷 ,  王修来

IPC: G06N3/0475 ,  G06N3/094 ,  G06N3/096 ,  G06N3/0464

Abstract: 本发明提供了一种基于架构蒸馏技术的生成对抗网络架构搜索方法和系统，所述方法定义一个搜索空间，构建融合了所有候选操作的超网，对超网进行预热训练，经过初始的预热训练后，评估子网的性能，筛选出对网络性能不利的操作并丢弃。在超网的训练过程中，通过架构知识蒸馏方法进行网络权重优化，设计匹配优化网络以有效地选择教师网络，使教师网络与学生子网达到最优匹配，通过架构蒸馏技术将教师网络的知识传递给其他子网，以指导超网训练。使用多目标优化策略挑选出超网中表现最佳的网络架构。本发明通过架构间的知识传递，提升子网的训练效果，相比传统的搜索方法具有更高的效率和更好的性能，能够更快地找到适合任务的最优神经网络架构。

公开(公告)号：CN119559286B

公开(公告)日：2025-04-15

申请号：CN202510108403.6

申请日：2025-01-23

Applicant: 南京信息工程大学

Inventor： 焦春晓 ,  薛羽 ,  王尧 ,  田青 ,  梅园 ,  韩进 ,  金婷 ,  王修来

IPC: G06T11/00 ,  G06N3/0455 ,  G06N3/0495 ,  G06N3/086 ,  G06N3/096

Abstract: 本发明提供了一种基于演化神经架构搜索的轻量级潜在扩散模型设计方法及系统，所述方法采用超网技术同时训练多个网络架构，在架构搜索过程中结合演化遗传算法，并通过训练一个多层感知器作为得分预测器，以辅助演化遗传算法在大规模搜索空间中高效筛选出最优架构，这种方法显著降低了传统架构设计过程中所需的资源消耗和计算成本。本发明通过结合知识蒸馏技术引入了预训练好的教师模型来监督学生模型的训练，可以在保证潜在扩散模型性能稳定的同时将潜在扩散模型变得轻量化。通过该方法，不仅能够自动化设计高效的神经网络架构，还能实现潜在扩散模型的高效部署，为扩散模型的优化提供了一种全新的、低成本的解决方案。

公开(公告)号：CN119559286A

公开(公告)日：2025-03-04

申请号：CN202510108403.6

申请日：2025-01-23

Applicant: 南京信息工程大学

Inventor： 焦春晓 ,  薛羽 ,  王尧 ,  田青 ,  梅园 ,  韩进 ,  金婷 ,  王修来

IPC: G06T11/00 ,  G06N3/0455 ,  G06N3/0495 ,  G06N3/086 ,  G06N3/096

Abstract: 本发明提供了一种基于演化神经架构搜索的轻量级潜在扩散模型设计方法及系统，所述方法采用超网技术同时训练多个网络架构，在架构搜索过程中结合演化遗传算法，并通过训练一个多层感知器作为得分预测器，以辅助演化遗传算法在大规模搜索空间中高效筛选出最优架构，这种方法显著降低了传统架构设计过程中所需的资源消耗和计算成本。本发明通过结合知识蒸馏技术引入了预训练好的教师模型来监督学生模型的训练，可以在保证潜在扩散模型性能稳定的同时将潜在扩散模型变得轻量化。通过该方法，不仅能够自动化设计高效的神经网络架构，还能实现潜在扩散模型的高效部署，为扩散模型的优化提供了一种全新的、低成本的解决方案。