本发明公开面向多模态医学数据的掩码式预训练方法和系统，本系统包括文本结构化模块，文本掩码模块，图像掩码模块，图像编码器，文本编码器，多模态融合模块，图像解码器，文本编码器，图像重建损失模块，文本重建损失模块。采用本系统可以在预训练阶段实现医学影像和报告文本中征象和部位的深度对应关系，同时加强模型根据图像理解和推断文本，以及根据文本理解并推断图像的能力，方便下游任务中影像和报告文本之间的灵活转换，克服了现有技术存在的影像和报告文本匹配不完全、部位和征象对应不清晰的问题。