本发明提供一种基于显著图的多标签图像识别系统，包括裁剪图像的图像预处理模块，由此得到特征图的特征提取模块，根据特征图得到置信度分数以及分类权重的分类模块，通过训练控制模块控制训练模块对置信度分数以及特征图处理得到损失函数对特征提取模块以及分类模块更新，最终识别控制模块将自然场景图像经过图像预处理模块、更新得到的特征提取模块以及分类模块得到置信度分数通过判断出自然场景图像标签。因此本实施例提供的多标签图像识别系统根据多标签分类损失函数以及多标签分布损失函数迭代能够在多标签图像识别过程中减少复杂背景和物体形变的干扰，避免受到遮挡、光照、视点等的干扰并提高多标签图像识别的准确率。