一种基于空间正反对角卷积的神经网络压缩方法

    公开(公告)号:CN109886391B

    公开(公告)日:2023-04-28

    申请号:CN201910089080.5

    申请日:2019-01-30

    申请人: 东南大学

    摘要: 本发明公开了一种基于空间正反对角卷积的神经网络压缩方法,对许多场景而言,卷积神经网络是目前计算机视觉和数字图像处理解决方案的核心,但卷积神经网络的计算复杂度和参数数量仍然是各种应用场景的限制因素。为了提高卷积神经网络的计算效率,减少网络的参数个数,本发明在空间上,将一对连续的传统方形卷积核替换为正反对角卷积核,先进行正对角卷积操作,然后经过批归一化和非线性函数激活处理后,再进行反对角卷积操作,在保留了更有效的局部感受中心的前提下进一步降低了卷积神经网络的计算复杂度,加快了网络传播速度,同时对角卷积具有一定的正则化效果,提高了网络的鲁棒性,降低了模型的过拟合,网络压缩后的整体效果提升明显。

    视觉深度自适应神经网络的一维卷积位置编码方法

    公开(公告)号:CN112801280B

    公开(公告)日:2022-11-08

    申请号:CN202110263635.0

    申请日:2021-03-11

    申请人: 东南大学

    IPC分类号: G06N3/04 G06N3/08

    摘要: 本发明公开了一种视觉深度自适应神经网络的一维卷积位置编码方法,包括:1)将输入的批量图片分为N2个片段,图片通道数由C转换为D,并将宽高维度展开为1维;2)将通道维度与宽高维度进行置换;3)将2)结果与分类表征拼接,分类表征是一个可学习的向量;4)将3)结果进行一维卷积,将卷积结果作为位置编码,并将位置编码与3)结果进行相加;5)用1)‑4)过程作为该模型的嵌入模块,在之后使用堆叠的编码模块;6)对1)‑5)所提出的网络在大规模数据集上进行预训练;7)在预训练模型的基础上训练基准数据集。一维卷积位置编码技术经验证对于深度自适应神经网络在视觉领域应用的精度有显著提升效果。

    基于通道注意力模块的轻量级神经网络模型

    公开(公告)号:CN113344188A

    公开(公告)日:2021-09-03

    申请号:CN202110676000.3

    申请日:2021-06-18

    申请人: 东南大学

    IPC分类号: G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于通道注意力模块的轻量级神经网络模型,该模型基本模块是由深度可分离卷积、逐点卷积以及通道注意力模块相互结合而成。利用深度可分离卷积替换标准卷积能够降低参数量与计算量,而逐点卷积能够实现跨通道之间图像特征信息的融合;最后引入通道注意力机制,一方面增加图像特征信息之间的交互,提升卷积效率,另一方面则能够通过学习图像全局信息来有选择性地加强包含有用信息的特征并抑制无用信息特征。基于此构建的轻量级神经网络模型DCCANet相比于目前主流轻量级神经网络模型,在COCO数据集目标检测与实例分割任务中,检测精度与实例分割精度以及响应速度都有了明显的提升。

    一种基于多层离散小波变换系数的图像压缩及重构方法

    公开(公告)号:CN107071482B

    公开(公告)日:2019-12-10

    申请号:CN201710205810.4

    申请日:2017-03-31

    申请人: 东南大学

    IPC分类号: H04N19/625 H04N19/30

    摘要: 本发明公开了一种基于多层离散小波变换系数的图像压缩及重构方法,融合离散小波变换和压缩感知的图像压缩方案,可以很好避免采用离散余弦变换和压缩感知单独使用时所带来的块效应,但当前基于单层离散小波变换的算法压缩比较低,基于多层离散小波变换的算法重构质量欠佳。为了解决这些不足,本发明方法根据离散小波变换系数的特点,通过修改离散小波变换稀疏向量的构造,对现有基于多层离散小波变换的算法提出了改进,图像经小波变换后,保留图像最高层低频系数,高频系数的构造方式给予适当改进;选用满足约束等距性质伯努利随机矩阵构造观测矩阵。仿真实验结果表明,与现有算法相比,重构图像的PSNR值有明显提高。

    一种带新型卷积运算加速模块的卷积神经网络硬件加速器

    公开(公告)号:CN110363284A

    公开(公告)日:2019-10-22

    申请号:CN201910535291.7

    申请日:2019-06-20

    申请人: 东南大学

    IPC分类号: G06N3/04 G06N3/063 G06K9/62

    摘要: 本发明公开了一种带新型卷积运算加速模块的卷积神经网络硬件加速器,包括运算进程管理模块;参数表模块;特征图缓存模块;新型卷积运算加速模块;新型卷积运算加速模块包括:输入特征图预取模块,从特征图缓存读取输入像素点;乘积模块,将输入像素点与卷积核权重相乘;输出特征图存取模块,负责从特征图缓存读取输出像素点旧中间结果,把输出像素点新中间结果写回特征图缓存;累加模块,完成乘积模块的运算结果与输出像素点旧中间结果的累加工作。本发明的一种带新型卷积运算加速模块的卷积神经网络硬件加速器,可以对卷积神经网络中的卷积运算过程进行加速,在很多有着低数据传输带宽,低功耗和逻辑资源少特点的移动端设备中有很大的应用价值。

    一种基于查找表计算的双层同或二值神经网络压缩方法

    公开(公告)号:CN109993279A

    公开(公告)日:2019-07-09

    申请号:CN201910178528.0

    申请日:2019-03-11

    申请人: 东南大学

    IPC分类号: G06N3/04 G06N3/063

    摘要: 本发明公开了一种基于查找表计算的双层同或二值神经网络压缩方法,所述压缩方法由双层卷积结构完成,其算法包括以下步骤:首先,将输入特征图经过非线性激活、批归一化和二值激活后,分组进行不同卷积核尺寸的第一层卷积操作得到第一层输出结果;然后,对第一层输出结果采用1×1大小的第二层卷积操作得到输出特征图。在硬件实现上,对改进的双层卷积使用双层并行计算的三输入同或操作代替了传统双层顺序计算方式,并将所有的双层卷积操作都使用查找表方式完成计算,提高硬件资源利用率。本发明提供压缩方法是一种融合全精度高效神经网络技巧和查找表计算方式的算法硬件协同压缩方案,在结构上有较好的压缩效果,在硬件上也减少了逻辑资源消耗。

    一种交错菱形感知的卷积神经网络池化方法

    公开(公告)号:CN109886404A

    公开(公告)日:2019-06-14

    申请号:CN201910104250.2

    申请日:2019-02-01

    申请人: 东南大学

    IPC分类号: G06N3/08 G06N3/04

    摘要: 本发明公开了一种交错菱形感知的卷积神经网络池化方法,包括如下步骤:神经网络卷积层四周增加空白行列;使用菱形池化窗口取代方形池化窗口,自左而右自上而下地滑动,使行内重叠,行间交错;采用反向传播算法训练含有交错菱形池化的卷积神经网络,求出每个神经元的梯度,得到新的权重。本发明改变局部感受野的形状和位置,优化了池化层特征提取方式,采用一范数约束感受野,保留了更有效的局部感受中心,使用交错的计算方式,保证有特征中心的行部分重叠,没有特征中心的行恰好交错,增加网络的非对称性的同时减少了冗余的计算。

    一种适合高原地区的太阳能热电联供污水处理装置

    公开(公告)号:CN109539570A

    公开(公告)日:2019-03-29

    申请号:CN201811239542.9

    申请日:2018-10-23

    申请人: 东南大学

    摘要: 本发明公开了一种适合高原地区的太阳能热电联供污水处理装置,包括太阳能光热发电系统及污水处理系统。该装置适用于高原地区低温、低压、低氧环境下的污水处理系统。太阳能光热发电系统由槽式集热系统和有机朗肯循环发电系统组成,投资低、易于自动化控制。日照较强时,集热系统所集热量用来推动有机朗肯循环发电系统发电,多余的存储在储热系统内;没有日照或日照强度不足时,储热系统内存储的热量为发电系统提供热量。发电系统发出的电量用于推动设备运转,采用反应池内污水作为冷凝器的冷源,污水吸收冷凝热量用于调整反应池温度使之达到最佳反应温度。该装置具有结构简单、投资少、节能环保优点,充分利用了冷凝散热,具有极高的能源利用率。

    一种自重构返回式混频器

    公开(公告)号:CN105305968B

    公开(公告)日:2017-05-31

    申请号:CN201510786670.5

    申请日:2015-11-16

    申请人: 东南大学

    IPC分类号: H03D7/16

    CPC分类号: H03D7/16

    摘要: 本发明公开了一种自重构返回式混频器,包括自重构跨导级,输入的射频电压信号经过自重构跨导级转化为射频电流,射频电流经过下变频和低通滤波转化为中频信号,中频信号反馈回自重构跨导级;自重构跨导级对输入的射频电压信号呈现出开环结构,自重构跨导级对反馈的中频信号呈现出负反馈放大器的拓扑结构。本发明提出的自重构跨导级电路,在为射频信号提供高带宽的同时,实现了高线性度的中频增益;有效缓解了传统返回式结构中转换增益和中频线性度之间的矛盾。

    一种基于循环谱的无线通信信号调制识别及参数估计方法

    公开(公告)号:CN106130942A

    公开(公告)日:2016-11-16

    申请号:CN201610525053.4

    申请日:2016-07-05

    申请人: 东南大学

    IPC分类号: H04L27/00

    摘要: 本发明公开一种基于循环谱的无线通信信号调制识别方法,首先对信号带宽进行粗估计,进行带通滤波,再利用谱相关方法计算信号循环谱密度,根据循环谱密度对循环谱特定截面进行谱峰值搜索获取相关的谱峰值大小,并以此计算出特征参数,最后根据特征参数对调制方式信号进行识别,能够在无任何先验信息的情况下对通信信号调制方式进行准确识别。本发明还在调制识别的基础上进一步公开了调制识别与参数估计方法,根据调制识别结果利用信号的原始循环谱、二次方谱以及四次方谱对不同调制方式信号进行载波频率估计和符号率估计。