基于ChatGPT微调预训练模型优化电力主设备缺陷诊断的方法

    公开(公告)号:CN117172320A

    公开(公告)日:2023-12-05

    申请号:CN202311232199.6

    申请日:2023-09-22

    摘要: 本发明涉及一种基于ChatGPT微调预训练模型优化电力主设备缺陷诊断的方法。构建一个包含80%正确语句和20%由ChatGPT API生成的语法错误语句的语料库。将领域特定的长文本转换为CoLA数据集格式。采用Adapter BERT作为基础架构进行微调,基础模型使用bert‑Chinese‑base,并在满足准确性阈值后冻结所有层参数,将模型作为特征提取器。通过汇总最后一个隐藏层的输出,得到最终的向量表示。选取表现优秀的KGC模型,仅修改其输入层。引入一个全连接层在预训练语言模型的输出层和KGC模型之间。全连接层在KGC任务迭代过程中训练并更新其参数。最后,在KGC模型中,通过计算候选实体的概率并对其排序,选取前k个实体作为最终答案。实验结果表明,该方法在诊断电力主设备缺陷方面有效地提高了KGC的性能。