公开(公告)号：CN118378684A

公开(公告)日：2024-07-23

申请号：CN202311846519.7

申请日：2023-12-29

申请人： 中国电子科技南湖研究院

发明人： 何福存 ,  蔡炎松 ,  金罗军 ,  王俊宜 ,  陆洋 ,  杜帅帅 ,  朱苗苗 ,  刘慧 ,  何静 ,  陈海波 ,  蔡汶兴 ,  谷轩

IPC分类号： G06N3/084 ,  G06N3/10 ,  G06N3/0985 ,  G06N3/0464 ,  G06N5/04

摘要： 本发明一种支持任意网络拓扑的高效局部学习系统，应用于各类局部学习任务中，由具有计算能力的电子设备实现，包括：模块层封装的模块包括：rlayer模块、datasets模块、grads模块、metrics模块、optimizer模块；算子层封装的算子类、梯度求解类、优化器类、数据集类及衡量指标函数，对应模块层封装的模块，用于提供模块层所封装的模块的接口；模块层封装的算子、数据集下载与预处理类、优化器类、梯度求导类、指标计算函数均具有输入输出接口，用户可通过rlayer模块按需创建并实例化网络，通过datasets模块下载与预处理数据集，通过optimizer模块选择相应的优化器，通过grads模块选择局部学习梯度求导类，通过metrics模块选择损失与精度计算函数，完成网络及相应超参的初始化，实现网络训练与测试。

公开(公告)号：CN118673981A

公开(公告)日：2024-09-20

申请号：CN202310267025.7

申请日：2023-03-15

申请人： 中国电子科技南湖研究院

发明人： 陈海波 ,  蔡炎松 ,  杨邦诚 ,  谷轩 ,  蔡汶兴

IPC分类号： G06N3/08 ,  G06N3/084 ,  G06N3/082 ,  G06N3/0464 ,  G06N3/048

摘要： 本发明公开了一种单权重双向预测编码方法及神经网络训练方法，单权重双向预测编码方法，包括：定义给定的输入和标签之间具有正向函数链和反向函数链，正向函数链和反向函数链共享中间层的参数和节点状态；基于正向函数链和反向函数链对中间层节点状态进行更新。本发明双向预测编码方法中定义了两个函数链，一方面，补足了视觉皮层的生物合理性。另一方面，模型双向链接产生的双向误差共同作用中间层节点状态的更新，让中间层节点状态在合理的区间内变化，解决StrictPC算法在深层网络无法训练的问题。另外，反向映射在生成的过程中产生的噪音参与到整个训练过程，使得模型更加鲁棒。

公开(公告)号：CN118780324A

公开(公告)日：2024-10-15

申请号：CN202310397400.X

申请日：2023-04-06

申请人： 中国电子科技南湖研究院

发明人： 杨邦诚 ,  蔡炎松 ,  谷轩 ,  王杰冬 ,  陈海波

IPC分类号： G06N3/0464 ,  G06V10/764 ,  G06V10/82

摘要： 本发明提出一种基于深度卷积神经网络的平衡传播优化方法与系统，属于神经网络优化技术领域。所述方法包括：基于原始网络中能量计算的梯度和能量分布，构建通用网络结构形式；在通用网络结构形式的最末节点上定义额外连接，通过额外连接确定最末节点的投影，从而确定嵌入空间，以获取完整的网络结构；根据原始网络的节点拓扑关系，定义完整的网络结构中各个节点之间的邻接矩阵，邻接矩阵用于建立完整的网络结构中各个网络层之间的连接关系；将经预处理的图像作为完整的网络结构的输入，在不同的能量下降阶段计算完整的网络结构的稳定点，确定具备稳定点的最低能量点，从而完成深度卷积神经网络的平衡传播优化。

公开(公告)号：CN118690819A

公开(公告)日：2024-09-24

申请号：CN202310317729.0

申请日：2023-03-23

申请人： 中国电子科技南湖研究院

发明人： 杨邦诚 ,  蔡炎松 ,  陈海波 ,  谷轩 ,  王杰冬 ,  蔡汶兴

IPC分类号： G06N3/084 ,  G06N3/04

摘要： 本发明提出一种支持平衡传播和预测编码的统一学习方法与系统，属于神经网络计算与优化技术领域。所述方法包括：基于平衡传播算法和预测编码算法的计算图，确定同时支持所述平衡传播算法和所述预测编码算法的统一学习模型的网络结构和连接类型；提取所述平衡传播算法和所述预测编码算法的能量函数，对所述能量函数的交互项进行配置，经配置的能量函数作为所述统一学习模型的能量函数，以支持多卷积网络计算；用户端提取所述统一学习模型的网络结构、连接类型和能量函数，以构建符合条件的多层神经网络结构，并利用优化器对所述多层神经网络结构进行优化。

公开(公告)号：CN118673983A

公开(公告)日：2024-09-20

申请号：CN202310276472.9

申请日：2023-03-15

申请人： 中国电子科技南湖研究院

发明人： 陈海波 ,  蔡炎松 ,  杨邦诚 ,  谷轩 ,  蔡汶兴

IPC分类号： G06N3/08 ,  G06N3/084 ,  G06N3/082 ,  G06N3/0464 ,  G06N3/048

摘要： 本发明公开了一种双权重双向预测编码方法及神经网络训练方法，双权重双向预测编码方法，包括：定义给定的输入和标签之间具有正向函数链和反向函数链，正向函数链和反向函数链具有独立的参数和中间层节点状态；基于正向函数链和反向函数链对中间层节点状态进行更新。本发明双向预测编码方法中定义了两个函数链，一方面，补足了视觉皮层的生物合理性。另一方面，模型双向链接产生的双向误差共同作用中间层节点状态的更新，让中间层节点状态在合理的区间内变化，解决StrictPC算法在深层网络无法训练的问题。另外，反向映射在生成的过程中产生的噪音参与到整个训练过程，使得模型更加鲁棒。