本申请涉及人工智能技术领域，具体提供了一种医疗模型预训练的方法、装置、电子设备及存储介质。一种医疗模型预训练的方法，包括针对各预训练文本的医疗实体信息，对各预训练文本分别进行采样，获得各预训练文本分别对应的采样片段集合；采样片段集合中采样片段中至少包含医疗实体信息；对各预训练文本中的采样片段分别进行掩码处理，获得相应的损坏文本；通过文本预测通用模型，根据各损坏文本及其分别对应的采样片段集合进行文本预测，获得相应的文本预测结果；根据各预训练文本及文本预测结果，进行参数调整，直至获得训练好的医疗预训练模型。这样，提高了医疗预训练模型在医疗领域中的语义理解能力以及逻辑处理能力。