本发明公开了一种跨模态多视角目标检索方法及装置，方法包括：基于三维模型的多视角序列，利用CNN提取2D图像特征和三维模型的多视角序列特征；利用最大池化将三维模型的多视角序列特征融合成一个三维全局特征；通过鉴别器对2D图像特征和三维全局特征进行全局的特征分布对齐；将所有类别划分成小部分簇，并将不同模态相同簇的中心特征对齐，挖掘簇级别的语义信息；不断增加簇的个数进行迭代训练，逐渐细化簇级别的语义信息；当簇的个数和类别总数相同时，将每个簇中心特征切割成M块进行局部的特征分布对齐，挖掘显著性特征外的信息。装置包括：处理器和存储器。本发明提高了跨模态三维多视角目标检索的准确性。