神经网络处理单元NPU、神经网络的处理方法及其装置

    公开(公告)号:CN113554149B

    公开(公告)日:2022-04-12

    申请号:CN202110679297.9

    申请日:2021-06-18

    IPC分类号: G06F17/16 G06N3/04 G06N3/063

    摘要: 本公开提供了一种神经网络处理单元NPU、神经网络的处理方法及其装置,涉及人工智能技术领域中的深度学习、语音技术等领域。该方案为:通过量化单元获取浮点型的输入数据,并将浮点型的输入数据转换成定点型的输入数据,对定点型的输入数据提供至运算单元,以及获取神经网络的网络参数并提供至运算单元,并通过运算单元基于网络参数对量化后的输入数据进行矩阵向量操作和/或卷积操作,以得到量化后的输入向量的运算结果,从而通过同时支持浮点型和定点型表示方式并进行适应性的结合方式,在确保精度要求的同时,降低了功耗,提升了NPU的算力。

    点积运算实现方法、装置、电子设备及存储介质

    公开(公告)号:CN112148249A

    公开(公告)日:2020-12-29

    申请号:CN202010984688.7

    申请日:2020-09-18

    发明人: 邓广来 田超

    摘要: 本申请公开了点积运算实现方法、装置、电子设备及存储介质,涉及深度学习及人工智能领域,其中的方法可包括:获取N组操作数,N为大于一的正整数,N组操作数均为第一数据输入格式或均为第二数据输入格式,第一数据输入格式包括:半精度的浮点数据和字符类型数据,第二数据输入格式包括:有符号的定点数据和字符类型数据;针对任一操作数,分别确定出所述操作数对应的输入数据,将输入数据输入对应的乘法器,得到输出结果,其中,不同的操作数分别对应于不同的乘法器;利用加法器计算各乘法器的输出结果之和,得到N点积运算的运算结果。应用本申请所述方案,可节省硬件成本和功耗,并可确保较高的运算精度等。

    神经网络处理单元、神经网络的处理方法及其装置

    公开(公告)号:CN113570033A

    公开(公告)日:2021-10-29

    申请号:CN202110679295.X

    申请日:2021-06-18

    IPC分类号: G06N3/04 G06N3/08 G10L15/16

    摘要: 本申请公开了一种神经网络的处理方法、神经网络处理单元、神经网络的处理方法及其装置,涉及深度学习、语音技术等领域。具体实现方案为:通过神经网络处理单元NPU中的量化单元获取浮点型的输入数据,对浮点型的输入数据进行量化得到量化后的输入数据,并将量化后的输入数据提供至运算单元,从而由NPU中的运算单元对量化后的输入数据执行矩阵向量操作和/或卷积操作,以得到输入数据的运算结果,之后,由量化单元对运算单元输出的运算结果进行反量化,得到反量化结果。由此,通过采用专门的NPU,来实现矩阵计算和/或卷积计算,当该NPU应用于语音芯片中时,可以降低语音芯片中核心的处理负担,提升语音芯片中核心的处理效率。

    点积运算实现方法、装置、电子设备及存储介质

    公开(公告)号:CN112148249B

    公开(公告)日:2023-08-18

    申请号:CN202010984688.7

    申请日:2020-09-18

    发明人: 邓广来 田超

    摘要: 本申请公开了点积运算实现方法、装置、电子设备及存储介质,涉及深度学习及人工智能领域,其中的方法可包括:获取N组操作数,N为大于一的正整数,N组操作数均为第一数据输入格式或均为第二数据输入格式,第一数据输入格式包括:半精度的浮点数据和字符类型数据,第二数据输入格式包括:有符号的定点数据和字符类型数据;针对任一操作数,分别确定出所述操作数对应的输入数据,将输入数据输入对应的乘法器,得到输出结果,其中,不同的操作数分别对应于不同的乘法器;利用加法器计算各乘法器的输出结果之和,得到N点积运算的运算结果。应用本申请所述方案,可节省硬件成本和功耗,并可确保较高的运算精度等。

    处理装置、神经网络的处理方法及其装置

    公开(公告)号:CN113570034B

    公开(公告)日:2022-09-27

    申请号:CN202110679305.X

    申请日:2021-06-18

    IPC分类号: G06N3/04 G06N3/08 G10L15/34

    摘要: 本申请公开了一种处理装置、神经网络的处理方法及其装置,涉及深度学习、语音技术等领域。具体实现方案为:处理装置包括通过总线连接的神经网络处理单元NPU、伪静态随机存储器PSRAM和数字信号处理器DSP,其中,DSP在内部的存储器中存储待处理的输入数据及存储NPU对输入数据的运算结果;PSRAM存储神经网络的网络参数;NPU通过总线访问DSP内部的存储器,以读取得到待处理的输入数据,及通过总线访问PSRAM得到至少部分网络参数,根据读取到的至少部分网络参数对输入数据执行矩阵向量操作和卷积操作中的至少一个,并同步继续读取PSRAM中的其余网络参数。由此,可以实现数据读取/加载和计算的并行,从而可以提升计算效率。

    用于神经网络的乘加运算方法和装置

    公开(公告)号:CN112558918B

    公开(公告)日:2022-05-27

    申请号:CN202011460424.8

    申请日:2020-12-11

    发明人: 邓广来 田超

    摘要: 本申请公开了用于神经网络的乘加运算方法和装置,涉及计算机领域,具体涉及深度学习等人工智能技术领域。具体实现方案为:响应于获取到的乘加运算请求,确定待运算的各个数据的类型;在待运算的各个数据的类型为单精度浮点的情况下,对待运算的各个数据的尾数进行压缩,以获取压缩后的各个尾数;将每个压缩后的尾数按照预设的规则进行拆分,以确定每个压缩后的尾数中的高位数及低位数;基于每个压缩后的尾数中的高位数及低位数,将压缩后的各个尾数进行乘加运算。该方法实现了在节约硬件资源成本和功耗的情况下,实现高精度的运算,配合完成卷积操作,且较短的操作数,可占用更少的内存,减少操作开销、加快运算速度。

    用于神经网络的乘加运算方法和装置

    公开(公告)号:CN112558918A

    公开(公告)日:2021-03-26

    申请号:CN202011460424.8

    申请日:2020-12-11

    发明人: 邓广来 田超

    摘要: 本申请公开了用于神经网络的乘加运算方法和装置,涉及计算机领域,具体涉及深度学习等人工智能技术领域。具体实现方案为:响应于获取到的乘加运算请求,确定待运算的各个数据的类型;在待运算的各个数据的类型为单精度浮点的情况下,对待运算的各个数据的尾数进行压缩,以获取压缩后的各个尾数;将每个压缩后的尾数按照预设的规则进行拆分,以确定每个压缩后的尾数中的高位数及低位数;基于每个压缩后的尾数中的高位数及低位数,将压缩后的各个尾数进行乘加运算。该方法实现了在节约硬件资源成本和功耗的情况下,实现高精度的运算,配合完成卷积操作,且较短的操作数,可占用更少的内存,减少操作开销、加快运算速度。

    神经网络处理单元、神经网络的处理方法及其装置

    公开(公告)号:CN113570033B

    公开(公告)日:2023-04-07

    申请号:CN202110679295.X

    申请日:2021-06-18

    IPC分类号: G06N3/0464 G06N3/08 G10L15/16

    摘要: 本申请公开了一种神经网络的处理方法、神经网络处理单元、神经网络的处理方法及其装置,涉及深度学习、语音技术等领域。具体实现方案为:通过神经网络处理单元NPU中的量化单元获取浮点型的输入数据,对浮点型的输入数据进行量化得到量化后的输入数据,并将量化后的输入数据提供至运算单元,从而由NPU中的运算单元对量化后的输入数据执行矩阵向量操作和/或卷积操作,以得到输入数据的运算结果,之后,由量化单元对运算单元输出的运算结果进行反量化,得到反量化结果。由此,通过采用专门的NPU,来实现矩阵计算和/或卷积计算,当该NPU应用于语音芯片中时,可以降低语音芯片中核心的处理负担,提升语音芯片中核心的处理效率。

    处理装置、神经网络的处理方法及其装置

    公开(公告)号:CN113570034A

    公开(公告)日:2021-10-29

    申请号:CN202110679305.X

    申请日:2021-06-18

    IPC分类号: G06N3/04 G06N3/08 G10L15/34

    摘要: 本申请公开了一种处理装置、神经网络的处理方法及其装置,涉及深度学习、语音技术等领域。具体实现方案为:处理装置包括通过总线连接的神经网络处理单元NPU、伪静态随机存储器PSRAM和数字信号处理器DSP,其中,DSP在内部的存储器中存储待处理的输入数据及存储NPU对输入数据的运算结果;PSRAM存储神经网络的网络参数;NPU通过总线访问DSP内部的存储器,以读取得到待处理的输入数据,及通过总线访问PSRAM得到至少部分网络参数,根据读取到的至少部分网络参数对输入数据执行矩阵向量操作和卷积操作中的至少一个,并同步继续读取PSRAM中的其余网络参数。由此,可以实现数据读取/加载和计算的并行,从而可以提升计算效率。

    神经网络处理单元NPU、神经网络的处理方法及其装置

    公开(公告)号:CN113554149A

    公开(公告)日:2021-10-26

    申请号:CN202110679297.9

    申请日:2021-06-18

    IPC分类号: G06N3/04 G06F17/16 G06N3/063

    摘要: 本公开提供了一种神经网络处理单元NPU、神经网络的处理方法及其装置,涉及人工智能技术领域中的深度学习、语音技术等领域。该方案为:通过量化单元获取浮点型的输入数据,并将浮点型的输入数据转换成定点型的输入数据,对定点型的输入数据提供至运算单元,以及获取神经网络的网络参数并提供至运算单元,并通过运算单元基于网络参数对量化后的输入数据进行矩阵向量操作和/或卷积操作,以得到量化后的输入向量的运算结果,从而通过同时支持浮点型和定点型表示方式并进行适应性的结合方式,在确保精度要求的同时,降低了功耗,提升了NPU的算力。