公开(公告)号：CN109993279B

公开(公告)日：2023-08-04

申请号：CN201910178528.0

申请日：2019-03-11

申请人： 东南大学

发明人： 张萌 ,  李建军 ,  李国庆 ,  沈旭照 ,  曹晗翔 ,  刘雪梅 ,  陈子洋

IPC分类号： G06N3/0464 ,  G06N3/063

摘要： 本发明公开了一种基于查找表计算的双层同或二值神经网络压缩方法，所述压缩方法由双层卷积结构完成，其算法包括以下步骤：首先，将输入特征图经过非线性激活、批归一化和二值激活后，分组进行不同卷积核尺寸的第一层卷积操作得到第一层输出结果；然后，对第一层输出结果采用1×1大小的第二层卷积操作得到输出特征图。在硬件实现上，对改进的双层卷积使用双层并行计算的三输入同或操作代替了传统双层顺序计算方式，并将所有的双层卷积操作都使用查找表方式完成计算，提高硬件资源利用率。本发明提供压缩方法是一种融合全精度高效神经网络技巧和查找表计算方式的算法硬件协同压缩方案，在结构上有较好的压缩效果，在硬件上也减少了逻辑资源消耗。

公开(公告)号：CN109886404B

公开(公告)日：2023-08-04

申请号：CN201910104250.2

申请日：2019-02-01

申请人： 东南大学

发明人： 张萌 ,  刘文昭 ,  李国庆 ,  沈旭照 ,  李建军 ,  杨洲 ,  朱佳蕾

IPC分类号： G06N3/082 ,  G06N3/0464

摘要： 本发明公开了一种交错菱形感知的卷积神经网络池化方法，包括如下步骤：神经网络卷积层四周增加空白行列；使用菱形池化窗口取代方形池化窗口，自左而右自上而下地滑动，使行内重叠，行间交错；采用反向传播算法训练含有交错菱形池化的卷积神经网络，求出每个神经元的梯度，得到新的权重。本发明改变局部感受野的形状和位置，优化了池化层特征提取方式，采用一范数约束感受野，保留了更有效的局部感受中心，使用交错的计算方式，保证有特征中心的行部分重叠，没有特征中心的行恰好交错，增加网络的非对称性的同时减少了冗余的计算。

公开(公告)号：CN109886391A

公开(公告)日：2019-06-14

申请号：CN201910089080.5

申请日：2019-01-30

申请人： 东南大学

发明人： 张萌 ,  沈旭照 ,  李国庆 ,  李建军 ,  刘文昭 ,  郭晟昊

IPC分类号： G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于空间正反对角卷积的神经网络压缩方法，对许多场景而言，卷积神经网络是目前计算机视觉和数字图像处理解决方案的核心，但卷积神经网络的计算复杂度和参数数量仍然是各种应用场景的限制因素。为了提高卷积神经网络的计算效率，减少网络的参数个数，本发明在空间上，将一对连续的传统方形卷积核替换为正反对角卷积核，先进行正对角卷积操作，然后经过批归一化和非线性函数激活处理后，再进行反对角卷积操作，在保留了更有效的局部感受中心的前提下进一步降低了卷积神经网络的计算复杂度，加快了网络传播速度，同时对角卷积具有一定的正则化效果，提高了网络的鲁棒性，降低了模型的过拟合，网络压缩后的整体效果提升明显。

公开(公告)号：CN109886391B

公开(公告)日：2023-04-28

申请号：CN201910089080.5

申请日：2019-01-30

申请人： 东南大学

发明人： 张萌 ,  沈旭照 ,  李国庆 ,  李建军 ,  刘文昭 ,  郭晟昊

IPC分类号： G06N3/0464 ,  G06N3/0495 ,  G06N3/082

摘要： 本发明公开了一种基于空间正反对角卷积的神经网络压缩方法，对许多场景而言，卷积神经网络是目前计算机视觉和数字图像处理解决方案的核心，但卷积神经网络的计算复杂度和参数数量仍然是各种应用场景的限制因素。为了提高卷积神经网络的计算效率，减少网络的参数个数，本发明在空间上，将一对连续的传统方形卷积核替换为正反对角卷积核，先进行正对角卷积操作，然后经过批归一化和非线性函数激活处理后，再进行反对角卷积操作，在保留了更有效的局部感受中心的前提下进一步降低了卷积神经网络的计算复杂度，加快了网络传播速度，同时对角卷积具有一定的正则化效果，提高了网络的鲁棒性，降低了模型的过拟合，网络压缩后的整体效果提升明显。

公开(公告)号：CN109993279A

公开(公告)日：2019-07-09

申请号：CN201910178528.0

申请日：2019-03-11

申请人： 东南大学

发明人： 张萌 ,  李建军 ,  李国庆 ,  沈旭照 ,  曹晗翔 ,  刘雪梅 ,  陈子洋

IPC分类号： G06N3/04 ,  G06N3/063

摘要： 本发明公开了一种基于查找表计算的双层同或二值神经网络压缩方法，所述压缩方法由双层卷积结构完成，其算法包括以下步骤：首先，将输入特征图经过非线性激活、批归一化和二值激活后，分组进行不同卷积核尺寸的第一层卷积操作得到第一层输出结果；然后，对第一层输出结果采用1×1大小的第二层卷积操作得到输出特征图。在硬件实现上，对改进的双层卷积使用双层并行计算的三输入同或操作代替了传统双层顺序计算方式，并将所有的双层卷积操作都使用查找表方式完成计算，提高硬件资源利用率。本发明提供压缩方法是一种融合全精度高效神经网络技巧和查找表计算方式的算法硬件协同压缩方案，在结构上有较好的压缩效果，在硬件上也减少了逻辑资源消耗。

公开(公告)号：CN109886404A

公开(公告)日：2019-06-14

申请号：CN201910104250.2

申请日：2019-02-01

申请人： 东南大学

发明人： 张萌 ,  刘文昭 ,  李国庆 ,  沈旭照 ,  李建军 ,  杨洲 ,  朱佳蕾

IPC分类号： G06N3/08 ,  G06N3/04

摘要： 本发明公开了一种交错菱形感知的卷积神经网络池化方法，包括如下步骤：神经网络卷积层四周增加空白行列；使用菱形池化窗口取代方形池化窗口，自左而右自上而下地滑动，使行内重叠，行间交错；采用反向传播算法训练含有交错菱形池化的卷积神经网络，求出每个神经元的梯度，得到新的权重。本发明改变局部感受野的形状和位置，优化了池化层特征提取方式，采用一范数约束感受野，保留了更有效的局部感受中心，使用交错的计算方式，保证有特征中心的行部分重叠，没有特征中心的行恰好交错，增加网络的非对称性的同时减少了冗余的计算。