一种对电力领域大语言模型效果的评估方法及系统

    公开(公告)号:CN118093371A

    公开(公告)日:2024-05-28

    申请号:CN202410083297.6

    申请日:2024-01-19

    IPC分类号: G06F11/36 G06N5/04

    摘要: 本发明提供了一种对电力领域大语言模型效果的评估方法及系统,包括将预先构建的电力领域大语言模型评价题库代入电力领域大语言模型中进行作答,得到作答结果;基于所述作答结果计算作答正确率,基于所述作答正确率评估所述电力领域大语言模型的效果;其中,所述电力领域大语言模型评价题库是通过调研电力领域各个应用场景,经过多模型测试和人工测试构建的。本发明通过调研电力领域各个应用场景,经过多模型测试和人工测试构建电力领域大语言模型评价题库,该题库覆盖电力领域各方面的知识,可对电力领域大语言模型的效果进行客观性评估,且适用性高。