本发明公开了一种基于多模态数据的小儿肺炎智能分类方法，包括输入多模态数据集，包括X线片数据、病史数据和临床特征数据；对X线片数据、病史数据和临床特征数据进行编码，并且各数据编码至少包括位置编码和模态编码；将编码后的X线片数据、病史数据和临床特征数据进行拼接，获得一个多模态特征序列；将多模态特征序列输入基于Transformer的模块进行分类；大大提高了效率和准确性，并且针对不同模态的医学数据，利用独特的数据编码方式，能够有效地提取不同模态数据的深度特征，提升最终的小儿肺炎类型识别准确率。