-
公开(公告)号:CN109886391A
公开(公告)日:2019-06-14
申请号:CN201910089080.5
申请日:2019-01-30
Applicant: 东南大学
Abstract: 本发明公开了一种基于空间正反对角卷积的神经网络压缩方法,对许多场景而言,卷积神经网络是目前计算机视觉和数字图像处理解决方案的核心,但卷积神经网络的计算复杂度和参数数量仍然是各种应用场景的限制因素。为了提高卷积神经网络的计算效率,减少网络的参数个数,本发明在空间上,将一对连续的传统方形卷积核替换为正反对角卷积核,先进行正对角卷积操作,然后经过批归一化和非线性函数激活处理后,再进行反对角卷积操作,在保留了更有效的局部感受中心的前提下进一步降低了卷积神经网络的计算复杂度,加快了网络传播速度,同时对角卷积具有一定的正则化效果,提高了网络的鲁棒性,降低了模型的过拟合,网络压缩后的整体效果提升明显。
-
公开(公告)号:CN109376859A
公开(公告)日:2019-02-22
申请号:CN201811128219.4
申请日:2018-09-27
Applicant: 东南大学
Abstract: 本发明公开了一种基于菱形卷积的神经网络剪枝方法,包括如下步骤:(1)卷积神经网络输入层及卷积层增加空白行列像素;(2)卷积操作采用奇数菱形卷积核取代方形卷积核,池化操作采用方形卷积核,前向计算神经网络输出;(3)采用反向传播算法训练含有菱形卷积核的卷积神经网络,求出每个神经元的梯度,得到新的权重。本发明提出了基于菱形卷积的神经网络,用菱形卷积核取代了传统的方形卷积核,采用一范数约束卷积窗口,保留了更有效的局部感受中心,保证了网络的稀疏性,进一步解决了神经网络参数复杂度过高的问题,加快了传播速度,同时菱形卷积核有正则化作用,防止了模型过拟合,整体训练速度加快,具有更高的准确率。
-
公开(公告)号:CN109886404B
公开(公告)日:2023-08-04
申请号:CN201910104250.2
申请日:2019-02-01
Applicant: 东南大学
IPC: G06N3/082 , G06N3/0464
Abstract: 本发明公开了一种交错菱形感知的卷积神经网络池化方法,包括如下步骤:神经网络卷积层四周增加空白行列;使用菱形池化窗口取代方形池化窗口,自左而右自上而下地滑动,使行内重叠,行间交错;采用反向传播算法训练含有交错菱形池化的卷积神经网络,求出每个神经元的梯度,得到新的权重。本发明改变局部感受野的形状和位置,优化了池化层特征提取方式,采用一范数约束感受野,保留了更有效的局部感受中心,使用交错的计算方式,保证有特征中心的行部分重叠,没有特征中心的行恰好交错,增加网络的非对称性的同时减少了冗余的计算。
-
公开(公告)号:CN109886391B
公开(公告)日:2023-04-28
申请号:CN201910089080.5
申请日:2019-01-30
Applicant: 东南大学
IPC: G06N3/0464 , G06N3/0495 , G06N3/082
Abstract: 本发明公开了一种基于空间正反对角卷积的神经网络压缩方法,对许多场景而言,卷积神经网络是目前计算机视觉和数字图像处理解决方案的核心,但卷积神经网络的计算复杂度和参数数量仍然是各种应用场景的限制因素。为了提高卷积神经网络的计算效率,减少网络的参数个数,本发明在空间上,将一对连续的传统方形卷积核替换为正反对角卷积核,先进行正对角卷积操作,然后经过批归一化和非线性函数激活处理后,再进行反对角卷积操作,在保留了更有效的局部感受中心的前提下进一步降低了卷积神经网络的计算复杂度,加快了网络传播速度,同时对角卷积具有一定的正则化效果,提高了网络的鲁棒性,降低了模型的过拟合,网络压缩后的整体效果提升明显。
-
公开(公告)号:CN109886404A
公开(公告)日:2019-06-14
申请号:CN201910104250.2
申请日:2019-02-01
Applicant: 东南大学
Abstract: 本发明公开了一种交错菱形感知的卷积神经网络池化方法,包括如下步骤:神经网络卷积层四周增加空白行列;使用菱形池化窗口取代方形池化窗口,自左而右自上而下地滑动,使行内重叠,行间交错;采用反向传播算法训练含有交错菱形池化的卷积神经网络,求出每个神经元的梯度,得到新的权重。本发明改变局部感受野的形状和位置,优化了池化层特征提取方式,采用一范数约束感受野,保留了更有效的局部感受中心,使用交错的计算方式,保证有特征中心的行部分重叠,没有特征中心的行恰好交错,增加网络的非对称性的同时减少了冗余的计算。
-
-
-
-