本发明公开的一种标记与语义自编码融合的零样本图像分类方法，具体按照以下步骤实施：图像到语义的自编码映射求解，获得图像到语义的映射矩阵；图像到标记的自编码映射求解，获得图像到标记的映射矩阵；根据图像到语义的映射矩阵、图像到标记的映射矩阵求解图像标记融合系数；根据图像标记融合系数对零样本图像标记估计，根据估计结果进行分类标记。不仅考虑语义的自编码映射，而且考虑标记的自编码映射。将各个信息域(语义和标记)的映射变换进行标记融合，进一步优化以上多重映射关系，能够更加准确的进行零样本图像分类和识别。