一种面向电力行业的预训练语言模型建立方法、系统及介质，方法包括：对预先建立的预训练语言模型使用电力行业文本词典进行全词遮蔽训练，得到源模型；对源模型进行模型微调，通过知识迁移获得符合各应用任务的目标模型。本发明通过对预先建立的预训练语言模型使用电力行业文本词典进行全词遮蔽训练，得到源模型，并将源模型在具体场景任务中进行微调训练，可以实现在各种下游子任务场景中的应用，相比于通用中文BERT模型，本发明对预训练语言模型使用电力行业文本词典进行全词遮蔽训练得到的源模型，在不同任务场景中的召回率和精准度上均有较大提升，在电力自然语言处理基础能力和电网业务应用场景整体上表现出优越的迁移性能。