- 专利标题: 一种基于异步梯度下降分布式并行策略的小样本生成扩散模型多目标神经架构搜索方法
-
申请号: CN202311455415.3申请日: 2023-11-03
-
公开(公告)号: CN117391147A公开(公告)日: 2024-01-12
- 发明人: 曹斌 , 徐迪凯 , 柳鑫 , 李耘 , 申人升 , 常玉春
- 申请人: 河北工业大学 , 电子科技大学(深圳)高等研究院 , 大连理工大学
- 申请人地址: 天津市北辰区西平道5340号
- 专利权人: 河北工业大学,电子科技大学(深圳)高等研究院,大连理工大学
- 当前专利权人: 河北工业大学,电子科技大学(深圳)高等研究院,大连理工大学
- 当前专利权人地址: 天津市北辰区西平道5340号
- 代理机构: 辽宁鸿文知识产权代理有限公司
- 代理商 王海波
- 主分类号: G06N3/0464
- IPC分类号: G06N3/0464 ; G06N3/08
摘要:
本发明提出了一种基于异步梯度下降分布式并行策略的小样本生成扩散模型多目标神经架构搜索方法。本发明将扩散模型的多目标神经架构搜索与分布式并行演化计算相融合,设计了强化差异特征的数据增广方法,快速增加少数类样本数量,改善训练数据集不平衡问题;结合注意力机制、交叉注意力机制、位置编码,实现扩散模型特征提取能力、泛化能力的增强;提出了特征增强小样本生成扩散模型的多目标优化方法,优化扩散模型生成样本质量、多样性和计算复杂度;提出了异步梯度下降分布式并行策略,提升网络的训练效率。