公开(公告)号：CN115512156A

公开(公告)日：2022-12-23

申请号：CN202211173732.1

申请日：2022-09-26

申请人： 河南垂天科技有限公司

发明人： 朱明甫 ,  倪水平 ,  马新良 ,  张威 ,  马传琦 ,  洪振东 ,  朱智丹 ,  常月光 ,  李炳伸

IPC分类号： G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

摘要： 本发明提出的是一种用于图像分类模型训练的自蒸馏训练方法，该方法包括：1、针对图像分类模型完成自蒸馏框架的搭建；2、将深层分类器划分出四个模块：在第一个模块的基础上依次增加第一注意力模块、第一浅层模块、第一全连接层作为第一浅层分类器；在第一个模块与第二个模块的基础上依次增加第二注意力模块、第二浅层模块、第二全连接层作为第二浅层分类器；在第一个模块、第二个模块、第三个模块的基础上依次增加第三注意力模块、第三浅层模块、第三全连接层作为第三浅层分类器；在第一浅层模块的基础上增加第四全连接层，在第二浅层模块的基础上增加第五全连接层；3、使用数据集来进行自蒸馏训练，得到一个深层分类器和三个浅层分类器。

公开(公告)号：CN116206151A

公开(公告)日：2023-06-02

申请号：CN202310037919.7

申请日：2023-01-10

申请人： 河南垂天科技有限公司

发明人： 朱明甫 ,  倪水平 ,  田源 ,  张毅哲 ,  马新良 ,  张威 ,  朱智丹 ,  常月光 ,  李晓峰

IPC分类号： G06V10/764 ,  G06V10/82 ,  G06N3/047 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/09

摘要： 本发明提出的是一种图像分类残差神经网络训练实现方法，该方法包括：1、在ResNet网络内部引入若干个分类器；所述ResNet网络包括第一卷积层、最大池化层、第一模块、第二模块、第三模块、第四模块、第一自适应平均池化层、第四全连接层、第四概率转换函数；2、使用图像数据集对若干个分类器进行联合训练；3、通过真实标签对ResNet网络和若干个分类器进行监督以及通过ResNet网络预测结果对ResNet网络进行监督，得到联合训练的总损失；4、在总损失作用下，更新ResNet网络权重。优点：相较于原训练方式，本发明能够辅助提高ResNet网络的整体准确率。

公开(公告)号：CN118886456A

公开(公告)日：2024-11-01

申请号：CN202411073182.5

申请日：2024-08-06

申请人： 河南垂天科技有限公司

发明人： 刘尚鑫 ,  朱明甫 ,  倪水平 ,  朱智丹 ,  孙鹏 ,  陈亚薇 ,  底飞 ,  张毅哲 ,  马新良 ,  王文迪

IPC分类号： G06N3/0464 ,  G06N3/096 ,  G06N3/045 ,  G06F18/2415 ,  G06N3/048

摘要： 本发明公开了一种基于ResNet18残差神经网络自蒸馏训练方法，其包括残差神经网络ResNet18、注意力模块与浅层模块，构建多个分类器搭建自蒸馏框架；同时使用已完成普通训练的ResNet18网络搭建联合训练框架，充分利用网络内外部的“知识”，提高神经网络的分类性能，本发明以残差神经网络ResNet18为基础，额外引入注意力模块、浅层模块构建多个分类器搭建自蒸馏框架，然后使用另一个已经完成普通训练的ResNet18残差网络来指导自蒸馏框架进行训练。整个训练过程可以全面利用网络内外部知识，提升蒸馏效果，进而提高ResNet18网络的分类精度。

公开(公告)号：CN115131579A

公开(公告)日：2022-09-30

申请号：CN202210873747.2

申请日：2022-07-24

申请人： 河南垂天科技有限公司

发明人： 倪水平 ,  马新良 ,  朱明甫 ,  邓立恒 ,  武志强 ,  朱智丹 ,  李炳伸

IPC分类号： G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

摘要： 本发明提供了一种轻量化的残差神经网络模型，包括：输入模块，用于对输入特征图进行预处理以得到中间特征图；特征提取模块，与输入模块连接，用于将中间特征图转换为特征提取图；其中，特征提取模块包括依次连接的多个残差块，通过设置多个残差块中的每一个残差块的主分支上的各卷积层及对应的卷积方式和/或多个残差块的每一个残差块的捷径分支上的卷积层及卷积方式，以使中间特征图在转换为特征提取图时降低卷积过程中的参数量；及输出模块，与特征提取模块连接，用于对特征提取图进行处理以得到输出特征图。本申请的轻量化的残差神经网络模型既能降低参数总量，经过自蒸馏训练后又能保持与原残差神经网络相近的性能，可应用融合、重建等领域。

公开(公告)号：CN118966286A

公开(公告)日：2024-11-15

申请号：CN202411058928.5

申请日：2024-08-02

申请人： 河南垂天科技有限公司

发明人： 朱明甫 ,  倪水平 ,  刘尚鑫 ,  孙鹏 ,  朱智丹 ,  陈亚薇 ,  底飞 ,  何欣航 ,  张毅哲 ,  马新良 ,  王文迪

IPC分类号： G06N3/0464 ,  G06N3/096

摘要： 本发明属于神经网络技术领域，尤其是一种基于VGG11(BN)神经网络蒸馏训练方案，针对现有的现有训练方式下VGG11(BN)神经网络精度受网络结构限制的问题，现提出如下方案，其采用离线和在线两种知识蒸馏训练的方式，即首先对一个VGG11(BN)网络进行普通训练，训练完成之后，将其作为教师网络开始指导自蒸馏框架进行蒸馏训练；基于VGG11(BN)网络搭建蒸馏训练方案，由教师网络和自蒸馏框架两部分组成，以VGG11(BN)神经网络为基础，额外引入模块结构构建多个分类器搭建自蒸馏框架，然后使用在同一任务下已完成普通训练的VGG11(BN)网络来指导整个自蒸馏框架的训练，通过蒸馏的方式提升VGG11(BN)网络精度，进一步提升蒸馏效果，解决现有训练方式下VGG11(BN)神经网络精度受网络结构限制的问题。

公开(公告)号：CN118886455A

公开(公告)日：2024-11-01

申请号：CN202411073161.3

申请日：2024-08-06

申请人： 河南垂天科技有限公司

发明人： 刘尚鑫 ,  朱明甫 ,  倪水平 ,  朱智丹 ,  何欣航 ,  陈亚薇 ,  底飞 ,  张毅哲 ,  马新良 ,  王文迪

IPC分类号： G06N3/0464 ,  G06N3/096 ,  G06N3/045 ,  G06F18/2415 ,  G06F18/214 ,  G06F18/25

摘要： 本发明属于知识蒸馏技术领域，尤其是一种基于ResNet18残差神经网络自蒸馏知识多重利用的训练方法，现提出如下方案，其包括整体框架、注意模块、浅层分类器和多种知识利用模块，所述Conv3×3表示卷积核为3×3的卷积，64、126、256和512分别表示卷积的输出通道数，maxpool表示最大池化层，AvgPool表示平均池化层，FC1、FC2、FC3和FC4表示输出节点数为100的全连接层，Softmax1、Softmax2、Softmax3、Softmax4和表示Softmax函数，Sigmoid表示Sigmoid函数，本发明：以ResNet18为基础，额外引入注意力模块、浅层分类器、全连接层，构成额外分支，搭建自蒸馏框架，将不同层次的模块知识分别引入浅层分类器中，实现对知识的多重利用，提升蒸馏效果，进而提高网络模型的精度。