一种卷积神经网络的模型参数量化方法、装置及相关装置

    公开(公告)号:CN114444686A

    公开(公告)日:2022-05-06

    申请号:CN202111676325.8

    申请日:2021-12-31

    Abstract: 本申请公开了一种卷积神经网络的模型参数量化方法,包括:获取数字分类任务的数据集;构建数字分类任务的卷积神经网络;利用所述数据集训练所述卷积神经网络,训练完成的卷积神经网络用于执行数字分类任务;其中,在所述量化卷积层的前向传播过程中,基于符号函数量化模型参数;所述模型参数包括权重和激活值;在所述量化卷积层的反向传播过程中,基于参数化的双曲正切函数量化所述模型参数;其中,所述双曲正切函数中的参数基于所述量化卷积层的模型参数的数据分布确定,本申请能够提高数字分类的模型精度。本申请还公开了一种卷积神经网络的模型参数量化装置、一种计算机可读存储介质及一种电子设备,具有以上有益效果。

    一种图像识别方法、装置及电子设备和存储介质

    公开(公告)号:CN114758191A

    公开(公告)日:2022-07-15

    申请号:CN202210395806.X

    申请日:2022-04-15

    Abstract: 本申请公开了一种图像识别方法、装置及一种电子设备和存储介质,该方法包括:利用训练图像和对应的类别标签对卷积神经网络的模型参数进行训练;卷积神经网络包括多个串联的堆叠基本单元,每个堆叠基本单元包括多个并联的分支,模型参数包括每个分支对应的加权参数和卷积层参数;对训练完成的卷积神经网络中的每个堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合得到每个堆叠基本单元中的每个分支对应的融合参数;在训练完成的卷积神经网络的基础上基于每个堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络;获取目标图像,将目标图像输入目标卷积神经网络中进行图像识别,提高了卷积神经网络进行图像识别的准确度。

    一种模型量化处理系统及一种模型量化处理方法

    公开(公告)号:CN114298291A

    公开(公告)日:2022-04-08

    申请号:CN202111591806.9

    申请日:2021-12-23

    Abstract: 本申请公开了一种模型量化处理系统,所述系统包括:BIAS参数存储器,用于存储神经网络模型的BIAS参数,并将BIAS参数传输至卷积计算模块;移位参数存储器,用于存储神经网络模型的移位参数,并将移位参数传输至卷积计算模块;零点参数存储器,用于存储神经网络模型的零点参数,并将零点参数传输至卷积计算模块;其中,BIAS参数存储器、移位参数存储器和零点参数存储器为BRAM类型的存储器;卷积计算模块,用于对量化参数进行量化计算并进行模型量化处理。本申请能够适应不同种类量化方法对应的量化参数的存储与更新,提高模型量化操作的效率。本申请还公开了一种模型量化处理方法,具有以上有益效果。

    一种深度神经网络的量化方法、装置、电子设备及介质

    公开(公告)号:CN111091184A

    公开(公告)日:2020-05-01

    申请号:CN201911320012.1

    申请日:2019-12-19

    Abstract: 本申请公开了一种深度神经网络的量化方法、装置、电子设备及计算机可读存储介质,该方法包括:获取预训练生成的深度神经网络的浮点型模型;计算深度神经网络中各量化单元的重要性评估值;量化单元的类型包括深度神经网络的权重参数通道和/或隐含层,权重参数通道作为量化单元时用于进行权重参数量化,隐含层作为量化单元时用于进行激活输出量化;确定各个量化单元分别对应的量化位数;量化位数与各个量化单元的重要性评估值正向变化;根据量化位数对浮点型模型进行量化。本申请为不同权重参数通道和/或隐含层分别设置了与信息重要性相关变化的量化位数,在保障精度的同时进行了最大限度地量化压缩,减少了数据处理量并加快了计算。

    一种卷积神经网络的模型参数量化方法、装置及相关装置

    公开(公告)号:CN114444686B

    公开(公告)日:2025-01-14

    申请号:CN202111676325.8

    申请日:2021-12-31

    Abstract: 本申请公开了一种卷积神经网络的模型参数量化方法,包括:获取数字分类任务的数据集;构建数字分类任务的卷积神经网络;利用所述数据集训练所述卷积神经网络,训练完成的卷积神经网络用于执行数字分类任务;其中,在所述量化卷积层的前向传播过程中,基于符号函数量化模型参数;所述模型参数包括权重和激活值;在所述量化卷积层的反向传播过程中,基于参数化的双曲正切函数量化所述模型参数;其中,所述双曲正切函数中的参数基于所述量化卷积层的模型参数的数据分布确定,本申请能够提高数字分类的模型精度。本申请还公开了一种卷积神经网络的模型参数量化装置、一种计算机可读存储介质及一种电子设备,具有以上有益效果。

    一种深度神经网络的量化方法、装置、电子设备及介质

    公开(公告)号:CN111091184B

    公开(公告)日:2022-03-22

    申请号:CN201911320012.1

    申请日:2019-12-19

    Abstract: 本申请公开了一种深度神经网络的量化方法、装置、电子设备及计算机可读存储介质,该方法包括:获取预训练生成的深度神经网络的浮点型模型;计算深度神经网络中各量化单元的重要性评估值;量化单元的类型包括深度神经网络的权重参数通道和/或隐含层,权重参数通道作为量化单元时用于进行权重参数量化,隐含层作为量化单元时用于进行激活输出量化;确定各个量化单元分别对应的量化位数;量化位数与各个量化单元的重要性评估值正向变化;根据量化位数对浮点型模型进行量化。本申请为不同权重参数通道和/或隐含层分别设置了与信息重要性相关变化的量化位数,在保障精度的同时进行了最大限度地量化压缩,减少了数据处理量并加快了计算。

    一种图像特征的识别方法、装置、设备和介质

    公开(公告)号:CN114882246B

    公开(公告)日:2025-05-02

    申请号:CN202210491608.3

    申请日:2022-04-29

    Abstract: 本申请实施例公开了一种图像特征的识别方法、装置、设备和介质,利用选取的教师网络模型和学生网络模型分别对样本图像进行特征提取,得到教师特征和学生特征;基于教师特征、学生特征和迭代次数对应的比值,确定出显著性阈值;依据显著性阈值确定出教师显著性信息和学生显著性信息。利用教师特征、学生特征、教师显著性信息、学生显著性信息,对学生网络模型进行训练,得到训练好的学生网络模型。利用该学生网络模型对待处理图像进行分析,识别出待处理图像包含的特征。利用显著性阈值去生成显著性信息,提升了图像特征挖掘的深度。利用显著性信息指导学生网络模型去模仿教师网络模型的显著性信息,有效的提升了学生网络模型的检测精度。

    一种图像处理方法、装置、设备及可读存储介质

    公开(公告)号:CN112287986B

    公开(公告)日:2023-07-18

    申请号:CN202011110263.X

    申请日:2020-10-16

    Abstract: 本发明公开了一种图像处理方法、装置、设备及可读存储介质,该方法包括:获取目标图像;将目标图像输入至量化后的目标深度神经网络模型进行分类/检测,得到输出结果;按照与输出结果对应的策略,对目标图像进行处理;其中,量化得到目标深度神经网络模型的过程,包括:获取预训练得到的浮点型的深度神经网络模型;提取深度神经网络模型的权重特征;利用权重特征,确定出量化策略;按照量化策略,对深度神经网络模型进行量化,得到目标深度神经网络模型。在该方法中,量化得到目标深度神经网络模型的过程减少占用资源,缩短耗时,同时也能保障模型性能,从而使得图像分类/检测的性能得到保障,进一步可提高图像分类处理的性能。

    图像保护方法及相关设备
    9.
    发明公开

    公开(公告)号:CN115410257A

    公开(公告)日:2022-11-29

    申请号:CN202211057401.1

    申请日:2022-08-30

    Abstract: 本申请公开了一种图像保护方法,包括获取源图像和随机图像,源图像包括目标保护对象,随机图像不包括目标保护对象;根据源图像初始化生成初始保护图像;计算初始保护图像和随机图像之间的第一特征距离,初始保护图像和源图像之间的第二特征距离和表观距离;根据第一特征距离、第二特征距离、表观距离计算获得损失函数;基于损失函数,利用反向传播算法对初始保护图像进行迭代更新,获得关于目标保护对象的保护图像。应用本申请所提供的技术方案,可以对图像中的目标对象进行安全保护,避免图像被伪造或盗取用于非法攻击途径,保证信息安全。本申请还公开了一种图像保护装置、设备及计算机可读存储介质,均具有上述有益效果。

    一种图像特征的识别方法、装置、设备和介质

    公开(公告)号:CN114882246A

    公开(公告)日:2022-08-09

    申请号:CN202210491608.3

    申请日:2022-04-29

    Abstract: 本申请实施例公开了一种图像特征的识别方法、装置、设备和介质,利用选取的教师网络模型和学生网络模型分别对样本图像进行特征提取,得到教师特征和学生特征;基于教师特征、学生特征和迭代次数对应的比值,确定出显著性阈值;依据显著性阈值确定出教师显著性信息和学生显著性信息。利用教师特征、学生特征、教师显著性信息、学生显著性信息,对学生网络模型进行训练,得到训练好的学生网络模型。利用该学生网络模型对待处理图像进行分析,识别出待处理图像包含的特征。利用显著性阈值去生成显著性信息,提升了图像特征挖掘的深度。利用显著性信息指导学生网络模型去模仿教师网络模型的显著性信息,有效的提升了学生网络模型的检测精度。

Patent Agency Ranking