本发明涉及一种基于多尺度特征迭代融合网络的图像分类方法和装置，包括如下步骤：S1：将需要分类的原始图像导入N个特征提取网络以获取N个特征图；S2：将所述N个特征图分别导入多尺度特征迭代融合网络，以获得多尺度特征注意图；S3：将所述多尺度特征注意图导入分类器，以获得需要分类的图像。通过所述图像分类方法，从图像处理的角度，设计了一种灵活的端到端训练多尺度注意力网络体系结构，充分利用多尺度的信息，更好的自适应地学习判别性的特征，提高分类识别精度。