公开(公告)号：CN118568256A

公开(公告)日：2024-08-30

申请号：CN202410578939.X

申请日：2024-05-10

申请人： 北京度友信息技术有限公司

发明人： 张艺琼 ,  姜涛 ,  石东升

IPC分类号： G06F16/35 ,  G06F18/214 ,  G06F40/295 ,  G06F16/34 ,  G06F16/332

摘要： 本公开提供一种大语言模型的文本分类性能的评测方法、装置，涉及大语言模型、自然语言处理、深度学习等人工智能技术领域。大语言模型的文本分类性能的评测方法包括：获取对应源评测任务的评测数据集、对应至少一个子评测任务的评测数据集；根据评测文本以及评测文本所对应的评测任务类型得到评测输入数据，将评测输入数据输入待评测大语言模型，将待评测大语言模型的输出结果作为评测文本对应不同评测任务类型的预测答案；根据评测文本对应相同评测任务类型的标注答案与预测答案，得到对应源评测任务的源评测结果、以及对应至少一个子评测任务的至少一个子评测结果；根据源评测结果与至少一个子评测结果，得到待评测大语言模型的文本分类性能。