公开(公告)号：CN117993366B

公开(公告)日：2024-06-21

申请号：CN202410381770.9

申请日：2024-04-01

Applicant: 北京邮电大学

Inventor： 何召锋 ,  尚余虎 ,  程祥 ,  项刘宇 ,  吴惠甲

IPC: G06F40/166 ,  G06F40/194 ,  G06F40/253 ,  G06N3/045 ,  G06N3/048

Abstract: 本公开提供了一种测评题目动态生成方法及系统、电子设备、可读存储介质，属于模型测评领域，该方法包括：基于种子题目和提示生成多个第一测试题目；基于目标模型针对多个第一测试题目的第一回复信息确定多个第一测试题目的难度；若多个第一测试题目的难度不符合预设难度，则对多个第一测试题目进行调整，返回执行基于目标模型针对多个第一测试题目的回复信息确定多个第一测试题目的难度的步骤；若多个第一测试题目的难度符合预设难度，则将多个第一测试题目确定为针对目标模型的测试题目。本公开提供的测评题目动态生成方法及系统、电子设备、可读存储介质，以解决现有评估方法缺乏自适应性的问题。

公开(公告)号：CN117993366A

公开(公告)日：2024-05-07

申请号：CN202410381770.9

申请日：2024-04-01

Applicant: 北京邮电大学

Inventor： 何召锋 ,  尚余虎 ,  程祥 ,  项刘宇 ,  吴惠甲

IPC: G06F40/166 ,  G06F40/194 ,  G06F40/253 ,  G06N3/045 ,  G06N3/048

Abstract: 本公开提供了一种测评题目动态生成方法及系统、电子设备、可读存储介质，属于模型测评领域，该方法包括：基于种子题目和提示生成多个第一测试题目；基于目标模型针对多个第一测试题目的第一回复信息确定多个第一测试题目的难度；若多个第一测试题目的难度不符合预设难度，则对多个第一测试题目进行调整，返回执行基于目标模型针对多个第一测试题目的回复信息确定多个第一测试题目的难度的步骤；若多个第一测试题目的难度符合预设难度，则将多个第一测试题目确定为针对目标模型的测试题目。本公开提供的测评题目动态生成方法及系统、电子设备、可读存储介质，以解决现有评估方法缺乏自适应性的问题。