一种基于自监督和自蒸馏的长尾图像识别方法

    公开(公告)号:CN113837238B

    公开(公告)日:2023-09-01

    申请号:CN202111026141.7

    申请日:2021-09-02

    申请人: 南京大学

    摘要: 一种基于自监督和自蒸馏的长尾图像识别方法,构建多阶段的训练框架训练特征提取网络,第一阶段在长尾分布采样下利用自监督训练特征提取网络,第二阶段在保留第一阶段特征提取网络权重的情况下,在类别平衡采样下微调特征提取网络的分类器,生成用于自蒸馏的软标签,第三阶段丢弃之前的权重,在长尾分布采用下利用软标签作为监督对特征提取网络进行自蒸馏联合训练,得到的特征提取网络用于长尾分布下的图像识别分类。本发明针对长尾数据的特征提取网络提出一种利用自监督和自蒸馏的多阶段训练方法,利用自监督方法对尾部类别得到充分的表征,同时利用自蒸馏的方法将头部类别的知识有效迁移到尾部类别中。

    一种基于视频和文字对判别分析的视频特征学习方法

    公开(公告)号:CN111242033A

    公开(公告)日:2020-06-05

    申请号:CN202010032964.X

    申请日:2020-01-13

    申请人: 南京大学

    摘要: 一种基于视频和文字描述对判别的视频特征学习方法,将视频及与视频匹配的文字描述构成视频-文字对,采用三维卷积网络提取视频特征,采用DistilBERT网络提取文字描述特征,通过训练使视频和其对应的文字描述具有相似的语义特征,使得文字描述自动成为对应视频的标签,训练构建深度学习网络,用于对视频特征的学习。本发明提出了一种利用文字描述信息作为辅助信息进行视频特征学习的方法,能够有效减少人力成本的同时学习到高效的视频特征表示,利用视频和文字描述进行判别化的方法进行视频特征学习的方法,能够更加有效得利用数据集中的所有数据,得到更加具有判别力的视频表征。

    一种基于视频和文字对判别分析的视频特征学习方法

    公开(公告)号:CN111242033B

    公开(公告)日:2024-01-09

    申请号:CN202010032964.X

    申请日:2020-01-13

    申请人: 南京大学

    摘要: 一种基于视频和文字描述对判别的视频特征学习方法,将视频及与视频匹配的文字描述构成视频‑文字对,采用三维卷积网络提取视频特征,采用DistilBERT网络提取文字描述特征,通过训练使视频和其对应的文字描述具有相似的语义特征,使得文字描述自动成为对应视频的标签,训练构建深度学习网络,用于对视频特征的学习。本发明提出了一种利用文字描述信息作为辅助信息进行视频特征学习的方法,能够有效减少人力成本的同时学习到高效的视频特征表示,利用视频和文字描述进行判别化的方法进行视频特征学习的方法,能够更加有效得利用数据集中的所有数据,得到更加具有判别力的视频表征。

    一种基于自监督和自蒸馏的长尾图像识别方法

    公开(公告)号:CN113837238A

    公开(公告)日:2021-12-24

    申请号:CN202111026141.7

    申请日:2021-09-02

    申请人: 南京大学

    摘要: 一种基于自监督和自蒸馏的长尾图像识别方法,构建多阶段的训练框架训练特征提取网络,第一阶段在长尾分布采样下利用自监督训练特征提取网络,第二阶段在保留第一阶段特征提取网络权重的情况下,在类别平衡采样下微调特征提取网络的分类器,生成用于自蒸馏的软标签,第三阶段丢弃之前的权重,在长尾分布采用下利用软标签作为监督对特征提取网络进行自蒸馏联合训练,得到的特征提取网络用于长尾分布下的图像识别分类。本发明针对长尾数据的特征提取网络提出一种利用自监督和自蒸馏的多阶段训练方法,利用自监督方法对尾部类别得到充分的表征,同时利用自蒸馏的方法将头部类别的知识有效迁移到尾部类别中。