本发明提供的一种多模态数据处理方法及终端，文本数据通过符号表转换为文本编码，同时将图像数据转换为指纹数据后，将指纹数据通过符号表转换为图像编码，使得图像数据转换为符号形式进行嵌入，从而实现图像数据与文本数据形成统一的符号模态。同时本发明无需对不同的模态数据构建不同的数据处理通道，可实现混合数据的输入，降低数据处理成本，并且采用感知哈希算法可以直接提取图像数据的指纹数据，无需进行额外的卷积训练，实现即插即用，提高预训练效率。