公开(公告)号：CN117273168A

公开(公告)日：2023-12-22

申请号：CN202311238148.4

申请日：2023-09-25

申请人： 河北工业大学 ,  之江实验室 ,  电子科技大学(深圳)高等研究院 ,  大连理工大学

发明人： 曹斌 ,  姜泽宇 ,  程稳 ,  何华 ,  李耘 ,  申人升 ,  常玉春

IPC分类号： G06N20/00 ,  G06N3/0455 ,  G06N3/08 ,  G06F21/62

摘要： 本发明提供了一种联邦大模型自适应学习系统。在多目标优化与增量学习结合的基础上，构建多个优化指标，设计自适应的小模型增量学习；针对联邦学习下的数据隐私保护，提出小模型梯度放缩方法，使梯度信息得到充分利用；通过揭示模型泛化能力与采样数据的关联性，提出泛化能力评估函数；针对工业设备运行时面对的性能退化、故障等真实问题，结合泛化能力评估函数，设计多个优化目标，通过多目标演化学习自适应地更新与修复模型，提高大模型在真实工业场景下的可用性。最终实现大、小模型的自适应精准更新，提升模型泛化能力。

公开(公告)号：CN117372747A

公开(公告)日：2024-01-09

申请号：CN202311237840.5

申请日：2023-09-25

申请人： 河北工业大学 ,  大连理工大学 ,  电子科技大学(深圳)高等研究院

发明人： 曹斌 ,  陈啸林 ,  申人升 ,  常玉春 ,  李耘

IPC分类号： G06V10/764 ,  G06N3/048 ,  G06N3/08

摘要： 本发明属于计算机视觉领域,公开提供了一种针对图像分类神经网络分类器决策空间的优化方法。针对图像分类神经网络分类器决策空间的优化方法包括：分类器内设置正弦激活函数ASIN，分类器权重矩阵等角投影；分类器内设置正弦激活函数ASIN对输入分类器的特征进行中心对称的非线性激活，分类器权重矩阵等角投影使得分类器权重矩阵的列向量两两之间夹角相等，且最大化；分类器内设置正弦激活函数ASIN可以让决策空间的特征分布关于原点中心对称分布，分类器权重矩阵等角投影使得类间距离最大化，提升网络分类性能，同时促进权重矩阵等角紧框架形成，加快网络收敛速度。

公开(公告)号：CN117332822A

公开(公告)日：2024-01-02

申请号：CN202311281668.3

申请日：2023-10-07

申请人： 河北工业大学 ,  电子科技大学(深圳)高等研究院 ,  大连理工大学

发明人： 曹斌 ,  周子润 ,  柳鑫 ,  李耘 ,  申人升 ,  常玉春

IPC分类号： G06N3/0475 ,  G06N3/086 ,  G06N3/094 ,  G06N3/006

摘要： 本发明属于生成对抗网络自动化设计技术领域，公开了一种面向生成对抗网络的多目标自适应演化神经架构搜索方法。依据神经架构搜索对演化过程进行分阶段处理，将演化过程分为探索、发展、收敛三个阶段，并设计了一个控制器，使得神经架构搜索能够依据演化过程进行调整，有效提升了神经架构搜索性能。通过新设计的概率函数，在不同的阶段对演化过程的交叉概率和突变概率进行控制，并在演化后期时加速收敛，并做了大量的消融实验。通过本发明所设计的基于双因子协同变异机制的演化过程对神经架构搜索过程进行动态化的调整与控制。

公开(公告)号：CN117527327A

公开(公告)日：2024-02-06

申请号：CN202311435934.3

申请日：2023-11-01

申请人： 河北工业大学 ,  电子科技大学(深圳)高等研究院 ,  大连理工大学

发明人： 曹斌 ,  赵宪锐 ,  柳鑫 ,  李耘 ,  申人升 ,  常玉春

IPC分类号： H04L9/40 ,  H04L9/00 ,  G06N3/0464 ,  G06N3/086 ,  G06F18/213 ,  G06F18/23213 ,  G06F18/2415 ,  G06N3/048

摘要： 本发明属于物联网入侵检测技术领域，提出了一种可信的多目标神经演化入侵检测框架，尽可能保证入侵检测警报数据不被篡改。针对入侵检测警报数据的信息安全保护，通过节点信用评级，设计奖励和惩罚机制来加强节点上传可信警报数据；在入侵检测模型方面，针对基于深度学习的入侵检测模型的自动化设计问题，通过多目标演化算法来演化一些出参数量小并且准确度尽可能高的卷积神经网络结构；并设计新的卷积块结构用于搜索空间，以进一步增强模型特征提取能力；经过神经网络架构搜索会产生多个帕累托解，最终通过提出自适应权重的决策方法决策出最终解。

公开(公告)号：CN117391147A

公开(公告)日：2024-01-12

申请号：CN202311455415.3

申请日：2023-11-03

申请人： 河北工业大学 ,  电子科技大学(深圳)高等研究院 ,  大连理工大学

发明人： 曹斌 ,  徐迪凯 ,  柳鑫 ,  李耘 ,  申人升 ,  常玉春

IPC分类号： G06N3/0464 ,  G06N3/08

摘要： 本发明提出了一种基于异步梯度下降分布式并行策略的小样本生成扩散模型多目标神经架构搜索方法。本发明将扩散模型的多目标神经架构搜索与分布式并行演化计算相融合，设计了强化差异特征的数据增广方法，快速增加少数类样本数量，改善训练数据集不平衡问题；结合注意力机制、交叉注意力机制、位置编码，实现扩散模型特征提取能力、泛化能力的增强；提出了特征增强小样本生成扩散模型的多目标优化方法，优化扩散模型生成样本质量、多样性和计算复杂度；提出了异步梯度下降分布式并行策略，提升网络的训练效率。

公开(公告)号：CN116562343A

公开(公告)日：2023-08-08

申请号：CN202211569928.2

申请日：2022-12-08

申请人： 河北工业大学 ,  大连理工大学 ,  电子科技大学(深圳)高等研究院

发明人： 曹斌 ,  雷欢 ,  柳鑫 ,  何华 ,  常玉春 ,  李耘

IPC分类号： G06N3/0475 ,  G06N3/092

摘要： 本发明公开了一种考虑统计全局信息的多目标演化生成对抗网络，在多目标演化算法与生成对抗网络结合的基础上，构建浅层的神经网络统计非局部性的信息，将自注意力机制模块从通道域方面进行修改，把修改之后的自注意力机制模块加入到生成器的第三层和第四层卷积网络之间；对鉴别器进行进一步的约束，将谱归一化加入到鉴别器的每一层神经网络中代替传统的批归一化；将余弦退火算法替代传统的学习率更新策略，在每次对生成器进行更新后都要根据生成样本的质量和多样性两个目标在生成器的种群中来选出最优解，以进行下一步的迭代更新，需要修改原有的拥挤度比较算子，使其同时考虑不同维度的影响，得到最优解。

公开(公告)号：CN116258165A

公开(公告)日：2023-06-13

申请号：CN202310110687.3

申请日：2023-02-14

申请人： 河北工业大学 ,  大连理工大学 ,  南京天洑软件有限公司 ,  电子科技大学(深圳)高等研究院

发明人： 曹斌 ,  郑子豪 ,  熊波涛 ,  常玉春 ,  金云峰 ,  李耘

IPC分类号： G06N3/045 ,  G06N3/0464 ,  G06N3/086 ,  G06N3/0985

摘要： 本发明属于多目标演化神经架构搜索领域，提出一种融合卷积及自注意力的多目标演化神经架构搜索方法。通过构建改进多目标演化算法，提高神经架构搜索效率，在搜索过程中更快搜索出神经架构个体并保存，兼顾收敛性和多样性；通过构建融合卷积和注意力操作的搜索空间，提高在图像处理任务时的全局和局部信息的处理能力，提高搜索空间的可塑性和个体在不同任务集上的泛化性能；将搜索空间的卷积核大小、层数等决策变量进行编码，作为改进多目标演化算法的种群个体，通过改进多目标演化算法的运行搜索出表现最优的个体，并将其解码为最优的网络架构。本发明有效提高搜索效率并获得性能最好的神经架构。

公开(公告)号：CN117422114B

公开(公告)日：2024-04-09

申请号：CN202311744044.0

申请日：2023-12-19

申请人： 电子科技大学(深圳)高等研究院 ,  英国i4AI有限公司 ,  深圳华大九天科技有限公司

发明人： 严圆 ,  肖江 ,  和思成 ,  孙峰 ,  李耘 ,  曹斌 ,  范衠 ,  邹兰榕 ,  郑鹏飞

IPC分类号： G06N3/063 ,  G06N3/04 ,  G06N3/086 ,  G06N3/126 ,  G06N5/01

摘要： 本发明公开一种AI加速器的优化方法及AI加速器，涉及AI加速器技术领域，解决了现有AI加速器中进化算法耗时较长的技术问题。该优化方法包括：准备原始数据，剔除异常数据后进行标注得到标注数据，选择部分标注数据作为训练集；确定遗传编程的搜索空间，定义函数集和终端集，并对标注数据进行预处理、特征提取、特征拼接、回归和结果输出；定义遗传编程的适应度函数；基于函数集、终端集、适应度函数，训练集分别进行种群初始化、适应度评估、执行遗传操作和遗传终止条件判断，搜索得到目的神经网络架构。本发明利用遗传编程进行AI加速器性能优化，搜索得到一个最优的权重和特征精度的神经网络架构，降低了计算成本。

公开(公告)号：CN117422114A

公开(公告)日：2024-01-19

申请号：CN202311744044.0

申请日：2023-12-19

申请人： 电子科技大学(深圳)高等研究院 ,  英国i4AI有限公司 ,  深圳华大九天科技有限公司

发明人： 严圆 ,  肖江 ,  和思成 ,  孙峰 ,  李耘 ,  曹斌 ,  范衠 ,  邹兰榕 ,  郑鹏飞

IPC分类号： G06N3/063 ,  G06N3/04 ,  G06N3/086 ,  G06N3/126 ,  G06N5/01

摘要： 本发明公开一种AI加速器的优化方法及AI加速器，涉及AI加速器技术领域，解决了现有AI加速器中进化算法耗时较长的技术问题。该优化方法包括：准备原始数据，剔除异常数据后进行标注得到标注数据，选择部分标注数据作为训练集；确定遗传编程的搜索空间，定义函数集和终端集，并对标注数据进行预处理、特征提取、特征拼接、回归和结果输出；定义遗传编程的适应度函数；基于函数集、终端集、适应度函数，训练集分别进行种群初始化、适应度评估、执行遗传操作和遗传终止条件判断，搜索得到目的神经网络架构。本发明利用遗传编程进行AI加速器的性能优化，搜索得到一个最优的权重和特征精度的神经网络架构，降低了计算成本。

公开(公告)号：CN115017977B

公开(公告)日：2024-09-20

申请号：CN202210529720.1

申请日：2022-05-16

申请人： 上海大学 ,  之江实验室 ,  云南锡业集团(控股)有限责任公司研发中心

发明人： 张统一 ,  曹斌 ,  元皓 ,  魏清华 ,  董自强

IPC分类号： G06F18/243 ,  G06F18/2321 ,  G06F18/241 ,  G06F18/27 ,  G06F18/2433

摘要： 本发明公开了一种高斯过程回归树分类器多元合金异常数据识别方法：高斯过程回归树分类器异常数据识别方法(英文名：Tree‑Classifier for Gaussian‑Process‑Regression,简称：TCGPR)。本方法基于随机过程假设，根据集合中数据之间的高斯关联性定义了数据集合的全局高斯无序因子(Global Gaussian Messy Factor,GGMF)。通过最大化全局高斯无序因子的期望降低值，不断地扩充初始的数据集合，直至数据集合的拟合优度饱和。本方法基于Stump‑Tree模型建立，通过初始数据集的动态扩容，切分输入的数据集合。本方法可用于例如检测合金性能测试的异常数据，等异常数据识别和分割的机器学习任务之中。本发明是一种基于全局关联性的有监督数据预处理方法，并在相关的数据评估中证实了本方法用于发现和强化数据之间关联的可行性。