-
公开(公告)号:WO2021082325A1
公开(公告)日:2021-05-06
申请号:PCT/CN2020/078203
申请日:2020-03-06
Applicant: 清华大学
IPC: G06N3/04
Abstract: 一种基于忆阻器的神经网络的训练方法及其训练装置。该神经网络包括逐一连接的多层神经元层以及在神经元层之间的权重参数,该训练方法包括:训练神经网络的权重参数,并基于训练后的权重参数对忆阻器阵列进行编程,以将训练后的权重参数写入忆阻器阵列中;以及通过调节忆阻器阵列的部分电导值以更新神经网络的至少一层权重参数。该训练方法弥补了忆阻器神经网络的片上训练和片外训练实现方案的不足,从神经网络系统实现角度出发,解决了由于良率问题、非一致性问题、电导漂移以及随机的波动性等器件非理想特性造成的神经网络系统的功能退化,极大地简化了神经网络系统的复杂度,降低了神经网络系统的实现成本。
-
公开(公告)号:WO2023045160A1
公开(公告)日:2023-03-30
申请号:PCT/CN2021/142045
申请日:2021-12-28
Applicant: 清华大学
IPC: G06N3/063
Abstract: 一种数据处理装置以及数据处理方法,该数据处理装置包括:双向数据处理模块,包括至少一个存储计算一体化的计算阵列,被配置为执行推理计算任务和训练计算任务;控制模块,被配置为将双向数据处理模块的工作模式切换为推理工作模式,以及将双向数据处理模块的工作模式切换为训练工作模式;参数管理模块,被配置为设置双向数据处理模块的权重参数;输入输出模块,被配置为响应于控制模块的控制,根据计算任务的输入数据生成计算输入信号,并将计算输入信号提供给双向数据处理模块,从双向数据处理模块接收计算输出信号并根据计算输出信号生成输出数据。该数据处理装置可以满足多种神经网络算法的推理与训练的要求。
-
公开(公告)号:WO2023000587A1
公开(公告)日:2023-01-26
申请号:PCT/CN2021/137445
申请日:2021-12-13
Applicant: 清华大学
IPC: G11C13/00
Abstract: 一种计算装置及其鲁棒性处理方法。该计算装置的鲁棒性处理方法包括:基于目标算法模型的模型参数,得到模型参数与第一计算忆阻器阵列的映射关系;基于决定关键权重器件的影响因子,确定由影响因子得到多个忆阻器器件的权重关键度的方式;获得算法模型的输入集,根据前述方式,确定多个忆阻器器件中每个的关键度值;根据多个忆阻器器件中每个的关键度值,在多个忆阻器器件中确定关键权重器件;基于关键权重器件,对第一处理单元进行优化处理。该方法通过对关键的部分忆阻器器件进行针对性的鲁棒性提升,实现低成本、高鲁棒的计算装置。
-
公开(公告)号:WO2023045114A1
公开(公告)日:2023-03-30
申请号:PCT/CN2021/137844
申请日:2021-12-14
Applicant: 清华大学
Abstract: 一种存算一体芯片及应用于该存算一体芯片的数据处理方法。该存算一体芯片包括:多个处理单元(101)以及主控单元(102)。每个处理单元(101)包括计算单元(103)以及控制单元(104)。计算单元(103)配置为存储参数矩阵、接收输入数据并采用参数矩阵对输入数据进行计算得到输出数据;控制单元(104)配置为与计算单元(103)相通信,且配置为将参数矩阵写入计算单元(103)得到配置后的计算单元(103),并且控制配置后的计算单元(103)对输入数据进行计算。主控单元(102)配置为与多个处理单元(101)通信,且根据整体参数集合将分别用于多个处理单元(101)的参数矩阵提供至多个处理单元各自的控制单元(104)。该存算一体芯片利用高效的分布式架构,在保证通用性和灵活性的同时,实现高算力和高能效。
-
公开(公告)号:WO2023000586A1
公开(公告)日:2023-01-26
申请号:PCT/CN2021/137444
申请日:2021-12-13
Applicant: 清华大学
Abstract: 一种存算一体装置及其校准方法。存算一体装置包括第一处理单元(500),第一处理单元包括(500):第一计算忆阻器阵列(510),被配置为接收第一计算输入数据,并对第一计算输入数据进行计算以得到第一输出数据;以及第一校准忆阻器阵列(520),被配置为接收第一校准输入数据,并根据第一校准输入数据对第一输出数据进行校准,以得到第一校准输出数据;第一处理单元(500)被配置为输出第一校准输出数据。校准方法包括:通过片外训练确定第一计算忆阻器阵列(510)对应的第一计算权重矩阵,将第一计算权重矩阵写入第一计算忆阻器阵列(510);基于写入了第一计算权重矩阵的第一计算忆阻器阵列(510)和第一计算权重矩阵,对第一校准忆阻器阵列(520)进行片上训练,以调整第一校准忆阻器阵列(520)的权重值。
-
公开(公告)号:WO2022183759A1
公开(公告)日:2022-09-09
申请号:PCT/CN2021/128957
申请日:2021-11-05
Applicant: 清华大学
IPC: G06N3/063
Abstract: 一种存算一体处理器、存算一体处理系统、存算一体处理装置以及基于存算一体处理器的算法模型的部署方法。该存算一体处理器包括第一主控单元和多个忆阻器处理模组,其中,该第一主控单元被配置为能够调度和控制多个忆阻器处理模组,该多个忆阻器处理模组被配置为能够根据该第一主控单元的调度和控制进行计算,该多个忆阻器处理模组还被配置为能够不依赖于该第一主控单元来进行通信以进行计算。
-
公开(公告)号:WO2021098821A1
公开(公告)日:2021-05-27
申请号:PCT/CN2020/130393
申请日:2020-11-20
IPC: G06N3/04
Abstract: 一种神经网络系统中数据处理的方法、神经网络系统,该方法包括:将训练数据输入神经网络系统得到第一输出数据,并根据第一输出数据和目标输出数据之间的偏差,对并行加速的神经网络系统中多个神经网络阵列中的部分神经网络阵列中的至少一个存算单元中存储的权重值进行调整。其中,部分神经网络阵列用于实现神经网络系统中部分神经网络层的计算。该方法可以提高神经网络系统的性能以及识别的准确率。
-
公开(公告)号:WO2021088248A1
公开(公告)日:2021-05-14
申请号:PCT/CN2020/071424
申请日:2020-01-10
Applicant: 清华大学
Abstract: 一种基于忆阻器的神经网络的并行加速方法及处理器、装置。该神经网络包括:多个依次设置的功能层,其中,该多个功能层包括第一功能层和位于第一功能层之后的第二功能层,该第一功能层包括并行的多个第一忆阻器阵列,该多个第一忆阻器阵列用于执行所述第一功能层的操作并将操作结果输出至第二功能层。该并行加速方法包括:使用多个第一忆阻器阵列并行地执行第一功能层的操作,并将操作结果输出至第二功能层。
-
-
-
-
-
-
-