本发明公开一种基于改进BERT模型的电力审计文本分类方法及装置，其中分类方法包括：获取电力文本；构建EPAT‑BERT模型；将电力文本输入EPAT‑BERT模型进行预训练，获得预训练后的EPAT‑BERT模型；其中，预训练包括分别进行字粒度掩码语言模型训练和实体粒度的掩码语言模型训练；对预训练后的EPAT‑BERT模型进行微调后开展性能评价，确定文本分类EPAT‑BERT模型；将待分类的电力审计文本输入文本分类EPAT‑BERT模型，输出电力审计文本的类别标签。本发明提出的两种预训练任务，以大规模电力文本作为训练语料，把握电力文本中的词法、语法以及相关知识，实现电力审计文本的高效自动分类。