公开(公告)号：CN118228806A

公开(公告)日：2024-06-21

申请号：CN202410296454.1

申请日：2024-03-15

Applicant: 西安电子科技大学

Inventor： 万波 ,  方子叶 ,  王泉 ,  王笛 ,  刘锦辉 ,  赵辉 ,  罗楠

IPC: G06N3/096 ,  G06N3/0499 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了一种基于超网络的动态模块化持续学习方法，主要解决现有技术计算资源浪费，模块复用率低及灾难性遗忘的问题。其方案是：获取任务流训练集；设计包含超网络及模块化网络的模型网络并定义其损失函数；将任务流训练集输入到模型网络中，使用任务流中的第一个任务训练初始化模型网络，并冻结完成该训练后的模块化网络；利用当前任务流的其他任务训练超网络及冻结模块化网络。所有训练均在模态不变正则化投影及模态不变正则化两阶段完成，即在不同阶段迭代计算模型损失函数和梯度，更新模型网络参数，直到达到设定的长度得到训练好的模型网络。本发明能克服灾难性遗忘，提升模块复用率，节约计算资源，可用于机器人学习，医疗诊断与辅助治疗。

公开(公告)号：CN118153665A

公开(公告)日：2024-06-07

申请号：CN202410296455.6

申请日：2024-03-15

Applicant: 西安电子科技大学

Inventor： 万波 ,  方子叶 ,  王泉 ,  王笛 ,  刘锦辉 ,  赵辉 ,  罗楠

IPC: G06N3/096 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0985 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种基于动态树门控网络的高效模块化持续学习方法，主要解决现有技术计算资源浪费，模块复用率低及灾难性遗忘的问题。其实现方案是：1)获取任务流训练集；2)设计包含功能组件及树形门控组件的模型网络并定义其损失函数；3)将任务流训练集输入到模型网络中对其进行训练：3a)利用树形门控组件和功能组件产生模块的任务特征，将若干模块求和得到模型网络的输出；3b)计算模型网络损失函数和梯度，更新模型网络参数；3c)单一任务训练结束后，冻结模型网络参数；重复3a)‑3c)直至任务流训练集结束，获得训练好的模型网络。本发明能克服灾难性遗忘，提升模块复用率，节约计算资源，可用于机器人学习，医疗诊断与辅助治疗。