一种用于稀疏连接的人工神经网络计算装置和方法

    公开(公告)号:CN105512723B

    公开(公告)日:2018-02-16

    申请号:CN201610039162.5

    申请日:2016-01-20

    摘要: 一种用于稀疏连接的人工神经网络计算装置,包括:映射单元,用于将输入数据转换成输入神经元和权值一一对应的存储方式;存储装置,用于存储数据和指令;运算单元,用于根据指令对数据执行相应运算;所述运算单元主要执行三步运算,第一步将输入的神经元和权值数据相乘;第二步执行加法树运算,将第一步处理后的加权输出神经元通过加法树逐级相加,或将输出神经元通过和偏置相加得到加偏置输出神经元;第三步执行激活函数运算,得到最终输出神经元。本发明的装置解决了CPU和GPU运算性能不足,前端译码开销大的问题,有效提高了对多层人工神经网络运算算法的支持,避免了内存带宽成为多层人工神经网络运算及其训练算法性能瓶颈的问题。

    一种人工神经网络压缩编码装置和方法

    公开(公告)号:CN106991477A

    公开(公告)日:2017-07-28

    申请号:CN201610039026.6

    申请日:2016-01-20

    IPC分类号: G06N3/063 G06N3/08

    摘要: 一种人工神经网络压缩编码装置,包括内存接口单元、指令缓存、控制器单元和运算单元,其中运算单元用于根据控制器单元的指令对来自内存接口单元的数据执行相应的运算;运算单元主要执行三步运算,第一步是将输入的神经元和权值数据相乘;第二步执行加法树运算,用于将第一步处理后的加权输出神经元通过加法树逐级相加,或者将输出神经元通过和偏置相加得到加偏置输出神经元;第三步执行激活函数运算,得到最终输出神经元。以及一种人工神经网络压缩编码方法。本发明不仅能有效减小人工神经网络的模型大小,提高人工神经网络的数据处理速度,而且能有效降低功耗,提高资源利用率。

    一种用于稀疏连接的人工神经网络计算装置和方法

    公开(公告)号:CN105512723A

    公开(公告)日:2016-04-20

    申请号:CN201610039162.5

    申请日:2016-01-20

    IPC分类号: G06N3/04

    摘要: 一种用于稀疏连接的人工神经网络计算装置,包括:映射单元,用于将输入数据转换成输入神经元和权值一一对应的存储方式;存储装置,用于存储数据和指令;运算单元,用于根据指令对数据执行相应运算;所述运算单元主要执行三步运算,第一步将输入的神经元和权值数据相乘;第二步执行加法树运算,将第一步处理后的加权输出神经元通过加法树逐级相加,或将输出神经元通过和偏置相加得到加偏置输出神经元;第三步执行激活函数运算,得到最终输出神经元。本发明的装置解决了CPU和GPU运算性能不足,前端译码开销大的问题,有效提高了对多层人工神经网络运算算法的支持,避免了内存带宽成为多层人工神经网络运算及其训练算法性能瓶颈的问题。

    用于执行人工神经网络正向运算的装置和方法

    公开(公告)号:CN106991476A

    公开(公告)日:2017-07-28

    申请号:CN201610037645.1

    申请日:2016-01-20

    IPC分类号: G06N3/06

    摘要: 本发明提供了一种用于执行人工神经网络正向运算的装置,包括指令缓存单元、控制器单元、直接内存访问单元、H树模块、主运算模块、以及多个从运算模块。使用该装置可以实现多层人工神经网络的正向运算。对于每一层来说,首先对输入神经元向量进行加权求和计算出本层的中间结果向量。该中间结果向量加偏置并激活得到输出神经元向量。将输出神经元向量作为下一层的输入神经元向量。

    用于执行人工神经网络反向训练的装置和方法

    公开(公告)号:CN106991478A

    公开(公告)日:2017-07-28

    申请号:CN201610039032.1

    申请日:2016-01-20

    IPC分类号: G06N3/08 G06N3/04 G06N3/063

    摘要: 本发明提供了一种用于执行人工神经网络反向训练的装置,包括指令缓存单元、控制器单元、直接内存访问单元、H树模块、主运算模块、以及多个从运算模块。使用该装置可以实现多层人工神经网络的反向训练。对于每一层来说,首先对输入梯度向量进行加权求和计算出本层的输出梯度向量。该输出梯度向量乘以下一层在正向运算时的激活函数的导数值可以得到下一层的输入梯度向量。将输入梯度向量与正向运算时的输入神经元对位相乘得到本层权值的梯度,然后可以根据所得到的本层权值的梯度来更新本层的权值。