本申请提供一种负例采样方法、训练方法、缺陷定级方法、装置和系统，通过自采样负样例训练语言模型，并使用该语言模型对标准缺陷进行编码并离线存储于知识库。当收到用户的缺陷描述后，利用该语言模型进行缺陷编码，并引入额外阈值控制模型将缺陷编码与知识库存储的标准缺陷编码进行对比，得到标准缺陷描述和缺陷等级。本申请解决了模型训练需要大规模标注数据的问题，同时由于引入阈值控制模型良好的兼容了缺陷描述字段缺失等问题，增加模型的鲁棒性，返回用户需要的准确答案；同时缺陷定级均来自于知识库中的标准，模型返回缺陷等级时，可同时返回对应的规定条款以及答案置信度，可辅助用户判断设备缺陷等级，实现了缺陷描述和缺陷定级可溯源。