一种提取数据特征的方法和相关装置

    公开(公告)号:CN113919479A

    公开(公告)日:2022-01-11

    申请号:CN202110761751.5

    申请日:2020-06-30

    摘要: 本申请提供了人工智能领域中提取数据特征的方法和装置。本申请的技术方案中,采用加法卷积运算,基于量化后的特征提取参数提取量化后的数据中的目标特征,即计算量化后的特征提取参数和量化后的数据的差值的绝对值之和,以根据该和获取目标特征,这样可以在节省存储资源的同时还能节省计算资源,从而可以减小人工智能在资源受限的设备上的应用。此外,本申请还提出了使用相同的量化参数对特征提取参数和数据进行量化,这样,在对提取到的特征数据进行反量化时,可以基于该量化参数对特征数据进行反量化,从而可以在提高特征数据的精准度的同时还能降低计算复杂度,进而节省计算资源。进一步地,本申请还提供了用于实现该加法卷积运算的硬件装置。

    一种注意力模型、特征提取方法及相关装置

    公开(公告)号:CN113627163A

    公开(公告)日:2021-11-09

    申请号:CN202110731775.6

    申请日:2021-06-29

    摘要: 本申请实施例公开了一种注意力模型以及特征提取方法,应用于人工智能技术领域。该注意力模型包括:一个或多个串行连接的自注意力网络,所述自注意力网络包括自注意力模块、多层感知机和第一神经网络层;所述自注意力模块包括多个并行的特征提取层和融合层,所述融合层分别与所述多个并行的特征提取层连接;所述多层感知机与所述自注意力模块串行连接,所述多层感知机包括多个串行的第一全连接层;所述第一神经网络层与所述自注意力模块以及所述多层感知机中的一个或多个并行连接,其中所述第一神经网络层用于执行特征变换。基于本方案,能够增加注意力模型所提取的特征的多样性,增强了特征的表达能力,从而提高注意力模型的性能。

    生成样本图像的方法、装置、设备、存储介质和程序产品

    公开(公告)号:CN113159108A

    公开(公告)日:2021-07-23

    申请号:CN202110220846.6

    申请日:2021-02-26

    摘要: 本公开的实施例提供了用于生成样本图像的方法、设备、装置、存储介质和程序产品,涉及人工智能领域,更具体地涉及计算机视觉领域。在本申请的生成样本图像的方法中,样本生成设备首先获取第一图像和与第一图像对应的第二图像,其中第一图像和第二图像具有相同的分辨率,并且第二图像具有比第一图像更高的图像质量。随后,样本生成设备确定第一图像的第一频域表示和第二图像的第二频域表示之间的频谱差异,并基于频谱差异,利用第二频域表示的至少一部分来更新第一频域表示。样本生成设备进一步基于经更新的第一频域表示来生成样本图像。这样,本公开的实施例能够充分地考虑原样本之间的差异,进而提高样本图像对于模型训练的有效性。

    一种感知网络及数据处理方法
    104.
    发明公开

    公开(公告)号:CN113065637A

    公开(公告)日:2021-07-02

    申请号:CN202110221934.8

    申请日:2021-02-27

    摘要: 本申请公开了一种感知网络,可以应用于人工智能领域,包括:特征提取网络,其中特征提取网络中的第一block用于对输入数据进行卷积处理,以得到M个目标特征图,特征提取网络中的至少一个第二block用于对M个目标特征图中的M1个目标特征图进行卷积处理,以得到M1个第一特征图,特征提取网络中的目标操作用于对M个目标特征图中的M2个目标特征图进行处理,以得到M2个第二特征图,特征提取网络中的拼接操作用于将M1个第一特征图和M2个第二特征图进行拼接,以得到拼接后的特征图。本申请利用相同stage之间跨层的目标操作来让感知网络生成这些与关键特征相似性高的特征,降低了模型的参数量,以此提高在GPU设备、TPU设备以及NPU设备上的模型的运行速度。

    一种模型的训练方法、图像增强方法及设备

    公开(公告)号:CN113065635A

    公开(公告)日:2021-07-02

    申请号:CN202110221444.8

    申请日:2021-02-27

    摘要: 本申请实施例公开了一种模型的训练方法、图像增强方法及设备,可应用于人工智能领域中的图像处理领域,具体可用于超分辨率重建任务,该方法针对由生成网络、教师网络、学生网络构成的模型重新构建了一套损失函数,用于提升生成网络和学生网络的训练效果。在提升生成网络训练效果方面,基于超分辨重建任务的特性(即超分辨图像具有低分辨图像的所有信息,并包含更多细节信息),针对超分辨重建任务构建了一种训练生成网络的损失函数,提升了模型在超分辨重建任务上的训练效果;在提升学生网络训练效果方面,由于无数据的知识蒸馏十分困难,为了降低蒸馏难度,采用渐进蒸馏方式训练学生网络,直至训练完整个学生网络,降低了蒸馏难度。

    图像分割模型的处理方法和处理装置

    公开(公告)号:CN112446888A

    公开(公告)日:2021-03-05

    申请号:CN201910845625.0

    申请日:2019-09-02

    IPC分类号: G06T7/11 G06K9/34 G06N3/04

    摘要: 本申请涉及人工智能领域中的图像分割技术,提供了图像分割模型的处理方法和处理装置。所述图像分割模型包括特征提取子模型和图像分割子模型,特征提取子模型用于提取图像的特征,图像分割子模型用于根据所述提取的特征对所述图像进行分割。所述处理方法包括:对所述特征提取子模型进行层宽调整,以得到第一特征提取子模型;根据第一特征提取子模型和图像分割子模型得到目标图像分割模型。本申请提供图像分割模型的处理方法和处理装置,有助于提高图像分割模型的分割精度,从而有助于在边缘设备上实现图像分割技术。

    神经网络结构的搜索方法、图像处理方法和装置

    公开(公告)号:CN112445823A

    公开(公告)日:2021-03-05

    申请号:CN201910834158.1

    申请日:2019-09-04

    IPC分类号: G06F16/2455 G06N3/04

    摘要: 本申请提供了人工智能领域中计算机视觉领域的一种神经网络结构的搜索方法、图像处理方法及装置。其中,该神经网络结构的搜索方法包括:根据目标任务确定搜索网络,搜索网络包括结构空间和参数空间;根据目标任务的训练数据,对参数空间进行更新,以获取更新参数空间;从搜索网络中确定子网络集合;对子网络集合进行更新,以获取更新子网络集合;根据更新参数空间和更新子网络集合,确定与目标任务对应的多个目标神经网络。上述技术方案能够通过一次搜索获得多个目标神经网络模型,使得用户可以根据应用场景中的资源约束选择合适的模型进行应用。

    一种神经网络的优化方法及相关设备

    公开(公告)号:CN111950700A

    公开(公告)日:2020-11-17

    申请号:CN202010650726.5

    申请日:2020-07-06

    IPC分类号: G06N3/04 G06K9/62 G06T3/40

    摘要: 本申请实施例公开了一种神经网络的优化方法及相关设备,可应用于人工智能领域中的计算机视觉领域(如,图像超分辨重建)等,该方法包括:通过一种新的量化模型对神经网络的权重矩阵/特征表示(或称特征图、激活值)进行二值化,具体地,第一量化模型用于根据神经网络第1层至第m层的m个第一权重矩阵得到神经网络第m层的第二权重矩阵,第二量化模型用于根据第1层至第m层的m个第一特征表示得到神经网络第m层的第二特征表示,这种优化方式使得各层权重矩阵/特征表示的取值不仅和自身相关,也与其他层的权重矩阵/特征表示相关,降低了量化误差,使神经网络的训练和使用更加高效,同时,相比现有二值神经网络,提高了图像信息处理的精度。

    一种神经网络蒸馏方法及装置
    109.
    发明公开

    公开(公告)号:CN111882031A

    公开(公告)日:2020-11-03

    申请号:CN202010615537.4

    申请日:2020-06-30

    IPC分类号: G06N3/04 G06N3/08

    摘要: 本申请公开了一种神经网络蒸馏方法,应用于人工智能领域,包括:通过第一神经网络和第二神经网络对待处理数据进行处理,以获取第一目标输出和第二目标输出,第一目标输出为对第一神经网络层的输出进行基于核函数的变换得到的,第二目标输出为对第二神经网络层的输出进行基于核函数的变换得到的;根据第一目标输出和第二目标输出构建的目标损失对第一神经网络进行知识蒸馏。本申请对第一神经网络层的输出和第二神经网络层的输出进行了基于核函数的变换,进而可以将第一神经网络层和第二神经网络层输入和权重映射到高维特征空间,消除了知识蒸馏时由于神经网络层的权重分布不同而造成的网络性能降低。

    图像分类方法及装置
    110.
    发明公开

    公开(公告)号:CN111797882A

    公开(公告)日:2020-10-20

    申请号:CN201910697287.0

    申请日:2019-07-30

    IPC分类号: G06K9/62 G06N3/04 G06N3/063

    摘要: 本申请涉及人工智能领域中计算机视觉领域的图像识别技术,提供了一种图像分类方法及装置。涉及人工智能领域,具体涉及计算机视觉领域。该方法包括:获取待处理图像的输入特征图;根据神经网络的M个卷积核对所述输入特征图进行卷积处理,得到M个通道的候选输出特征图,M为正整数;根据N个矩阵对所述候选输出特征图的M个通道进行矩阵变换,得到N个通道的输出特征图,其中,所述N个矩阵中的每个矩阵的通道数小于M,N大于M,N为正整数;根据所述输出特征图对所述待处理图像进行分类,得到所述待处理图像的分类结果。该方法有助于降低图像分类处理的计算量和参数量。