本发明公开了一种基于孪生网络的自监督学习细粒度图像分类方法。本发明首先利用注意力编码器提取图像的深度卷积特征，获取蕴含语义信息的注意力图并通过双线性池化方式编码图像特征；其次从原始图像上定位出注意力图上高响应值所在的显著区域，对显著区域进行裁切和擦除操作，从而形成不同视角的视图，以自监督的方式学习视角不变性特征；最后联合中心损失函数以及一致性损失函数，显示地约束不同视角特征，保持它们的类内一致性。本发明方法使得网络获得显著的性能增益，可以在细粒度图像分类的基线上显著提升分类准确度。