公开(公告)号：CN118761455A

公开(公告)日：2024-10-11

申请号：CN202411253260.X

申请日：2024-09-09

申请人： 青岛理工大学

发明人： 王金龙 ,  刘镇宇 ,  杨兴涛 ,  翟伟伟 ,  张媛媛 ,  赵浩然 ,  熊晓芸 ,  孟凡云 ,  崔吉福 ,  王爱玲

IPC分类号： G06N3/098 ,  G06N3/096 ,  G06N3/082

摘要： 本发明涉及联邦学习领域和知识蒸馏技术领域，公开了一种基于知识蒸馏的个性化联邦学习方法，包括如下步骤：初始化中央服务器的全局模型和本地设备数量；将初始化后的全局模型广播到本地设备；所有本地设备使用本地私有数据进行模型训练；并将本地模型参数上传至中央服务器聚合生成新的全局模型；通过非结构化剪枝技术对聚合生成的新的全局模型进行剪枝，将全局模型变成一个学生友好型的教师模型；将剪枝后得到的教师模型中的最终预测和注意力图知识传递给本地模型，本地模型此时作为学生模型，根据传递的知识进行更新。本发明所公开的方法能够缓解数据异质性情况下产生的客户端漂移问题，提高模型精度表现，并能减少本地设备之间的通信成本。

公开(公告)号：CN117892841B

公开(公告)日：2024-05-31

申请号：CN202410288255.6

申请日：2024-03-14

申请人： 青岛理工大学

发明人： 赵浩然 ,  田舒文 ,  周政 ,  邓兆鹏

IPC分类号： G06N20/00 ,  G06N5/022 ,  G06V10/774 ,  G06V10/778 ,  G06V10/764

摘要： 本发明属于人工智能技术领域，公开了基于渐进式联想学习的自蒸馏方法及系统，所述方法包括步骤1、数据预处理；步骤2、构建关联样本；步骤3、学习类别特征和类间关系；将关联样本输入学生网络，利用关联样本训练学生网络，学生网络从关联样本中学习类别特征和类间关系，输出概率分布；步骤4、自蒸馏阶段；学生网络利用在步骤3学习到的类别特征和类间关系的知识，来模拟教师网络的输出概率分布，并将这些知识进行知识迁移以指导学生网络的自我学习过程。本发明通过自蒸馏的方式实现自我学习，减少对复杂教师网络的依赖；通过本发明提取更丰富的类别间关系知识。

公开(公告)号：CN115526810A

公开(公告)日：2022-12-27

申请号：CN202211381251.X

申请日：2022-11-07

申请人： 青岛理工大学

发明人： 张浩 ,  田艳兵 ,  巩玉玺 ,  邓兆鹏 ,  赵浩然 ,  朱文杰 ,  孙中卫 ,  徐新立 ,  曲良波 ,  刘秀燕

IPC分类号： G06T5/00 ,  G06T7/70

摘要： 本申请属于图像分析技术领域，特别涉及一种水下图像的增强方法，包括如下步骤：将原图像遍历，找到其中距离待增强像素点最近的n2个像素点的位置；计算列向插入点的值，计算行向插入点的值；该点的像素值为经列向和行向计算后的值，并插入到原来图像中；将原图像中所有遍历的点的像素值根据需要插入更多个点，得到包含原图像所有像素点，和新插入像素点的像素值的新图像，新图像为原图像的增强图像。本发明公开的方法能够提高图像增强的准确度。

公开(公告)号：CN118780399A

公开(公告)日：2024-10-15

申请号：CN202411273181.5

申请日：2024-09-12

申请人： 青岛理工大学

发明人： 王金龙 ,  杨兴涛 ,  刘镇宇 ,  赵浩然 ,  赵小琪 ,  翟伟伟 ,  张媛媛 ,  熊晓芸 ,  孟凡云 ,  王超

IPC分类号： G06N20/00 ,  G06F21/64 ,  G06F18/23213

摘要： 本发明涉及联邦学习技术领域，公开了一种基于区块链的半异步联邦学习方法，包括如下步骤：创建一个全局模型A，并进行初始化；客户端提取全局模型A并在本地数据上训练，生成更新后的模型参数；然后生成新的全局模型B，并将其打包到新区块中；采用NDP‑Kmeans聚类算法，进行聚类分组；分组完成后，将全局模型B分发到各个客户端组；组内客户端使用全局模型B在本地数据上进行模型更新；将最新的全局模型打包成一个区块，并将其上传至区块链网络并进行共识，循环执行直到全局模型收敛，达到预期的性能指标，或者训练过程达到预设的最大轮次。本发明的方法在保持模型更新质量的同时，大幅提升了联邦学习在设备异构环境中的总体效率。

公开(公告)号：CN117892841A

公开(公告)日：2024-04-16

申请号：CN202410288255.6

申请日：2024-03-14

申请人： 青岛理工大学

发明人： 赵浩然 ,  田舒文 ,  周政 ,  邓兆鹏

IPC分类号： G06N20/00 ,  G06N5/022 ,  G06V10/774 ,  G06V10/778 ,  G06V10/764

摘要： 本发明属于人工智能技术领域，公开了基于渐进式联想学习的自蒸馏方法及系统，所述方法包括步骤1、数据预处理；步骤2、构建关联样本；步骤3、学习类别特征和类间关系；将关联样本输入学生网络，利用关联样本训练学生网络，学生网络从关联样本中学习类别特征和类间关系，输出概率分布；步骤4、自蒸馏阶段；学生网络利用在步骤3学习到的类别特征和类间关系的知识，来模拟教师网络的输出概率分布，并将这些知识进行知识迁移以指导学生网络的自我学习过程。本发明通过自蒸馏的方式实现自我学习，减少对复杂教师网络的依赖；通过本发明提取更丰富的类别间关系知识。

公开(公告)号：CN115526810B

公开(公告)日：2023-04-07

申请号：CN202211381251.X

申请日：2022-11-07

申请人： 青岛理工大学

发明人： 张浩 ,  田艳兵 ,  巩玉玺 ,  邓兆鹏 ,  赵浩然 ,  朱文杰 ,  孙中卫 ,  徐新立 ,  曲良波 ,  刘秀燕

IPC分类号： G06T5/00 ,  G06T7/70

摘要： 本申请属于图像分析技术领域，特别涉及一种水下图像的增强方法，包括如下步骤：将原图像遍历，找到其中距离待增强像素点最近的n2个像素点的位置；计算列向插入点的值，计算行向插入点的值；该点的像素值为经列向和行向计算后的值，并插入到原来图像中；将原图像中所有遍历的点的像素值根据需要插入更多个点，得到包含原图像所有像素点，和新插入像素点的像素值的新图像，新图像为原图像的增强图像。本发明公开的方法能够提高图像增强的准确度。