本发明的一种隐式语义关联建模方法、零样本图像分类方法及装置，属于图像处理技术领域，零样本图像分类方法包括以下步骤：步骤1，获取测试图像和源图像，所述测试图像为未标注的目标图像，所述源图像为标记好的图像；步骤2，利用源图像进行模型训练，获得语义相关性预测模型g(*)；步骤3，计算测试图像的隐含语义表示；步骤4，计算测试图像与每个源图像之间的语义关联矩阵Hi,t；步骤5，利用语义相关性预测模型g(*)预测测试图像与每个源图像之间的语义一致性，并将测试图像分类到平均语义一致性最大的类别。本发明在多个公共数据集上表现出色，并持续提高分类准确率，具有较好的判别力和泛化能力。