编译方法、装置、计算设备和介质

    公开(公告)号:CN112328227B

    公开(公告)日:2022-02-25

    申请号:CN202011209731.9

    申请日:2020-11-03

    申请人: 清华大学

    摘要: 一种适用于存算一体计算机装置的编译方法、编译装置、计算设备和存储介质。该编译方法包括:获取待编译算法的运算信息;根据运算信息,将待编译算法转换为第一中间表示,第一中间表示包括存算一体计算机装置执行的算子操作;将第一中间表示映射为第二中间表示,第二中间表示包括存算一体计算机装置的硬件信息与算子操作的对应关系;以及根据硬件信息,将待编译算法编译为存算一体计算机装置识别的指令信息,以由存算一体计算机装置执行指令信息。该编译方法能够将运算信息编译为存算一体计算机装置可直接执行的指令,从而可以实现利用存算一体计算机装置对各种算法进行加速运算的效果。

    参数优化方法及装置、编译方法及装置、电子装置和介质

    公开(公告)号:CN118551820A

    公开(公告)日:2024-08-27

    申请号:CN202410841063.3

    申请日:2024-06-26

    申请人: 清华大学

    摘要: 一种参数优化方法及装置、编译方法及装置、电子装置以及计算机可读存储介质。该参数优化方法应用于存内计算装置,该参数优化方法包括:根据存内计算装置的硬件参数,对将要运行于存内计算装置的神经网络模型的权重进行拆分或组合;根据神经网络模型拆分或组合后的权重,确定神经网络推理代码,其中,神经网络推理代码携带有关于权重拆分或组合以及存内计算装置进行推理运算的运行参数的信息;以及进行神经网络推理代码的运行参数寻优过程,确定存内计算装置的优化运行参数。该参数优化方法可以自动化、高效地优化多种存内计算装置的运行参数,显著减轻神经网络模型部署的负担,提高存内计算装置执行神经网络计算任务时的精度表现。

    用于矩阵运算的存算一体装置及其操作方法

    公开(公告)号:CN116384246A

    公开(公告)日:2023-07-04

    申请号:CN202310379335.8

    申请日:2023-04-11

    申请人: 清华大学

    IPC分类号: G06F30/27 G06F17/16 G06F7/498

    摘要: 一种用于矩阵运算的存算一体装置及其操作方法。该存算一体装置包括存算一体计算单元、量化系数追踪单元和输出单元。存算一体计算单元配置为接收输入数据且根据存储的权重矩阵对输入数据进行矩阵运算,以得到输出数据;量化系数追踪单元配置为获取输入数据对应的第一量化系数以及存算一体计算单元对输入数据进行矩阵运算过程中产生的中间量化系数,以及获得与输出数据对应的累积量化系数;输出单元配置为提供输出数据以及累积量化系数。该存算一体装置能够实时获取和记录矩阵运算过程中产生的中间量化系数,为计算结果的后续处理提供了还原基础,能够有效提高计算结果的准确性,减少计算开销。

    用于存算一体系统的编译装置和编译方法、计算设备

    公开(公告)号:CN116245153A

    公开(公告)日:2023-06-09

    申请号:CN202310325391.3

    申请日:2023-03-29

    申请人: 清华大学

    IPC分类号: G06N3/063 G06N3/08 G06N3/0464

    摘要: 一种用于存算一体系统的编译装置和编译方法、计算设备。该编译装置包括编译模块、评估模块和优化模块。编码模块配置为根据神经网络模型的描述信息生成包括存算一体系统的配置参数的硬件可执行代码;评估模块配置为根据硬件可执行代码获取存算一体系统执行神经网络模型的训练结果;优化模块配置为根据训练结果调整存算一体系统的配置参数,得到存算一体系统执行神经网络模型的优化后的配置参数。该编译装置和编译方法能够对存算一体系统运行神经网络模型的配置参数进行优化,有效提高存算一体系统进行推理计算的精度,还能够将神经网络模型自动映射到存算一体系统上,同时自动调整存算一体系统运行神经网络模型时的配置参数,提高映射效率。

    计算电路及其操作方法
    5.
    发明授权

    公开(公告)号:CN111859261B

    公开(公告)日:2022-12-09

    申请号:CN202010775594.9

    申请日:2020-08-05

    申请人: 清华大学

    IPC分类号: G06F17/12

    摘要: 一种计算电路及其操作方法。该计算电路包括至少一个存储器阵列、电压钳位电路以及电压读取电路,存储器阵列包括布置为N行M列的多个三端存储器,多个三端存储器的每一个包括第一信号端、第二信号端以及控制信号端,且被配置为可以根据控制信号端被施加的电压脉冲而存储对应的目标值;存储器阵列还包括沿存储器阵列的行方向延伸的N条第一信号线以及沿存储器阵列的列方向延伸的M条第二信号线;第n条第一信号线与第n行的三端存储器的第一信号端电连接,第m条第二信号线与第m列的三端存储器的第二信号端电连接;N和M均为大于等于2的整数,且1≤n≤N,1≤m≤M。该计算电路可以提高计算精度以及鲁棒性。

    数据处理装置以及数据处理方法
    6.
    发明公开

    公开(公告)号:CN113837373A

    公开(公告)日:2021-12-24

    申请号:CN202111131563.0

    申请日:2021-09-26

    申请人: 清华大学

    摘要: 一种数据处理装置以及数据处理方法,该数据处理装置包括:双向数据处理模块,包括至少一个存储计算一体化的计算阵列,被配置为执行推理计算任务和训练计算任务;控制模块,被配置为将双向数据处理模块的工作模式切换为推理工作模式,以及将双向数据处理模块的工作模式切换为训练工作模式;参数管理模块,被配置为设置双向数据处理模块的权重参数;输入输出模块,被配置为响应于控制模块的控制,根据计算任务的输入数据生成计算输入信号,并将计算输入信号提供给双向数据处理模块,从双向数据处理模块接收计算输出信号并根据计算输出信号生成输出数据。该数据处理装置可以满足多种神经网络算法的推理与训练的要求。

    编译方法、装置、计算设备和介质

    公开(公告)号:CN112328227A

    公开(公告)日:2021-02-05

    申请号:CN202011209731.9

    申请日:2020-11-03

    申请人: 清华大学

    摘要: 一种适用于存算一体计算机装置的编译方法、编译装置、计算设备和存储介质。该编译方法包括:获取待编译算法的运算信息;根据运算信息,将待编译算法转换为第一中间表示,第一中间表示包括存算一体计算机装置执行的算子操作;将第一中间表示映射为第二中间表示,第二中间表示包括存算一体计算机装置的硬件信息与算子操作的对应关系;以及根据硬件信息,将待编译算法编译为存算一体计算机装置识别的指令信息,以由存算一体计算机装置执行指令信息。该编译方法能够将运算信息编译为存算一体计算机装置可直接执行的指令,从而可以实现利用存算一体计算机装置对各种算法进行加速运算的效果。

    计算电路及其操作方法
    8.
    发明公开

    公开(公告)号:CN111859261A

    公开(公告)日:2020-10-30

    申请号:CN202010775594.9

    申请日:2020-08-05

    申请人: 清华大学

    IPC分类号: G06F17/12

    摘要: 一种计算电路及其操作方法。该计算电路包括至少一个存储器阵列、电压钳位电路以及电压读取电路,存储器阵列包括布置为N行M列的多个三端存储器,多个三端存储器的每一个包括第一信号端、第二信号端以及控制信号端,且被配置为可以根据控制信号端被施加的电压脉冲而存储对应的目标值;存储器阵列还包括沿存储器阵列的行方向延伸的N条第一信号线以及沿存储器阵列的列方向延伸的M条第二信号线;第n条第一信号线与第n行的三端存储器的第一信号端电连接,第m条第二信号线与第m列的三端存储器的第二信号端电连接;N和M均为大于等于2的整数,且1≤n≤N,1≤m≤M。该计算电路可以提高计算精度以及鲁棒性。

    部署机器学习模型的方法、装置、设备以及存储介质

    公开(公告)号:CN117291280A

    公开(公告)日:2023-12-26

    申请号:CN202311281626.X

    申请日:2023-09-28

    申请人: 清华大学

    IPC分类号: G06N20/00 G06N3/04

    摘要: 本公开提供用于在计算机系统中部署机器学习模型的方法、装置、设备以及存储介质。方法包括:提取机器学习模型的多个计算任务,基于计算机系统的硬件特性,将计算机系统的多个计算单元分组划分为多个计算单元分组集合,多个计算单元分组集合具有不同的计算性能,基于计算量将机器学习模型的多个计算任务进行排序,针对排序后的多个计算任务中的每一个计算任务,从一个或多个可用计算单元分组中选择具有所需计算性能的一个或多个计算单元分组中的一个计算单元分组,并将计算任务映射到所选择的计算单元分组中的计算单元,从而充分利用硬件特性,提升机器学习模型计算性能。

    用于存算一体系统的编译装置和编译方法、计算设备

    公开(公告)号:CN116245152A

    公开(公告)日:2023-06-09

    申请号:CN202310324760.7

    申请日:2023-03-29

    申请人: 清华大学

    IPC分类号: G06N3/063 G06N3/08 G06N3/0464

    摘要: 一种用于存算一体系统的编译装置和编译方法、计算设备。该编译装置包括获取模块、优化模块和编译模块。获取模块配置为根据神经网络模型的描述信息获取神经网络模型中多个网络层的计算需求量;优化模块配置为根据多个网络层的计算需求量将存算一体系统的硬件资源分配给多个网络层;编译模块配置为根据存算一体系统的硬件资源的分配方案生成存算一体系统的硬件可执行代码。该编译装置能够对存算一体系统运行神经网络模型的硬件资源进行合理的分配和优化,为计算量大的网络层分配更多资源,还能够将神经网络模型自动映射到存算一体系统上,为存算一体系统自动分配运行神经网络模型的硬件资源,从而有效提高存算一体系统进行推理计算的执行效率。