-
公开(公告)号：CN118378684A
公开(公告)日：2024-07-23
申请号：CN202311846519.7
申请日：2023-12-29
申请人： 中国电子科技南湖研究院
IPC分类号： G06N3/084 , G06N3/10 , G06N3/0985 , G06N3/0464 , G06N5/04
摘要： 本发明一种支持任意网络拓扑的高效局部学习系统，应用于各类局部学习任务中，由具有计算能力的电子设备实现，包括：模块层封装的模块包括：rlayer模块、datasets模块、grads模块、metrics模块、optimizer模块；算子层封装的算子类、梯度求解类、优化器类、数据集类及衡量指标函数，对应模块层封装的模块，用于提供模块层所封装的模块的接口；模块层封装的算子、数据集下载与预处理类、优化器类、梯度求导类、指标计算函数均具有输入输出接口，用户可通过rlayer模块按需创建并实例化网络，通过datasets模块下载与预处理数据集，通过optimizer模块选择相应的优化器，通过grads模块选择局部学习梯度求导类，通过metrics模块选择损失与精度计算函数，完成网络及相应超参的初始化，实现网络训练与测试。
-
公开(公告)号：CN118673981A
公开(公告)日：2024-09-20
申请号：CN202310267025.7
申请日：2023-03-15
申请人： 中国电子科技南湖研究院
IPC分类号： G06N3/08 , G06N3/084 , G06N3/082 , G06N3/0464 , G06N3/048
摘要： 本发明公开了一种单权重双向预测编码方法及神经网络训练方法，单权重双向预测编码方法，包括：定义给定的输入和标签之间具有正向函数链和反向函数链，正向函数链和反向函数链共享中间层的参数和节点状态；基于正向函数链和反向函数链对中间层节点状态进行更新。本发明双向预测编码方法中定义了两个函数链，一方面，补足了视觉皮层的生物合理性。另一方面，模型双向链接产生的双向误差共同作用中间层节点状态的更新，让中间层节点状态在合理的区间内变化，解决StrictPC算法在深层网络无法训练的问题。另外，反向映射在生成的过程中产生的噪音参与到整个训练过程，使得模型更加鲁棒。
-
公开(公告)号：CN118690819A
公开(公告)日：2024-09-24
申请号：CN202310317729.0
申请日：2023-03-23
申请人： 中国电子科技南湖研究院
摘要： 本发明提出一种支持平衡传播和预测编码的统一学习方法与系统，属于神经网络计算与优化技术领域。所述方法包括：基于平衡传播算法和预测编码算法的计算图，确定同时支持所述平衡传播算法和所述预测编码算法的统一学习模型的网络结构和连接类型；提取所述平衡传播算法和所述预测编码算法的能量函数，对所述能量函数的交互项进行配置，经配置的能量函数作为所述统一学习模型的能量函数，以支持多卷积网络计算；用户端提取所述统一学习模型的网络结构、连接类型和能量函数，以构建符合条件的多层神经网络结构，并利用优化器对所述多层神经网络结构进行优化。
-
公开(公告)号：CN118673983A
公开(公告)日：2024-09-20
申请号：CN202310276472.9
申请日：2023-03-15
申请人： 中国电子科技南湖研究院
IPC分类号： G06N3/08 , G06N3/084 , G06N3/082 , G06N3/0464 , G06N3/048
摘要： 本发明公开了一种双权重双向预测编码方法及神经网络训练方法，双权重双向预测编码方法，包括：定义给定的输入和标签之间具有正向函数链和反向函数链，正向函数链和反向函数链具有独立的参数和中间层节点状态；基于正向函数链和反向函数链对中间层节点状态进行更新。本发明双向预测编码方法中定义了两个函数链，一方面，补足了视觉皮层的生物合理性。另一方面，模型双向链接产生的双向误差共同作用中间层节点状态的更新，让中间层节点状态在合理的区间内变化，解决StrictPC算法在深层网络无法训练的问题。另外，反向映射在生成的过程中产生的噪音参与到整个训练过程，使得模型更加鲁棒。
-
-
-
搜索结果
4 条记录 (耗时 0.031 秒)
