公开(公告)号：CN119960853A

公开(公告)日：2025-05-09

申请号：CN202510060482.8

申请日：2025-01-14

Applicant: 鹏城实验室

Inventor： 叶培钧 ,  龚轶凡 ,  刘方明

IPC: G06F9/445 ,  G06F18/214 ,  G06N5/04 ,  G06N3/045

Abstract: 本申请实施例提出的模型评测系统、评测方法及相关设备，其中模型评测系统包括依次连接的插件层、模块层以及核心层；插件层基于不同的架构设置有对应的评测模型插件；核心层设置有多个执行器，每个执行器对应于一种评测类型；当模块层接收到目标评测任务和目标配置信息时，模块层用于向插件层的多个评测模型插件中获取目标评测任务对应的目标评测模型插件，并将目标评测模型插件发送至核心层的多个执行器中与目标评测任务对应的目标执行器；核心层用于调用目标执行器基于目标评测模型插件和目标配置信息进行任务评测，并输出目标评测任务的目标评测结果，以有效地提高模型评测系统的通用性和兼容性。

公开(公告)号：CN119250173A

公开(公告)日：2025-01-03

申请号：CN202410791180.3

申请日：2024-06-19

Applicant: 鹏城实验室 ,  北京大学

Inventor： 龚轶凡 ,  刘方明 ,  王雯 ,  叶培钧 ,  马成栋 ,  杨耀东

IPC: G06N5/022

Abstract: 本申请实施例提供了一种模型评测方法、装置、计算机设备及可读存储介质，属于数据处理技术领域。获取多个评测问题；针对每个评测问题，将评测问题输入至待评测模型得到第一评测答案，以及将评测问题分别输入多个参照模型中，得到多个第二评测答案；将第一评测答案分别与多个第二评测答案组合得到多个评测组合，并将多个评测组合输入至每个预设评估模型中，得到评测问题在每个预设评估模型下的第一评测得分；基于多个预设评估模型对应的多个第一评测得分，确定待评测模型在评测对应的评测问题时的目标得分；基于待评测模型在评测多个评测问题时的多个目标得分，确定待评测模型的评测得分。以此，能够提高对模型进行评测的准确性。

公开(公告)号：CN118916692A

公开(公告)日：2024-11-08

申请号：CN202410697065.X

申请日：2024-05-30

Applicant: 鹏城实验室

Inventor： 王雯 ,  刘方明 ,  龚轶凡 ,  高骏 ,  杨耀东 ,  何召锋

IPC: G06F18/214 ,  G06F18/22 ,  G06N20/00

Abstract: 本申请实施例提供了一种指令数据集构建方法、装置、电子设备及存储介质，属于自然语言处理技术领域。方法包括：获取样本语料文本，以及样本语料文本所处的多个嵌套的背景层级的层级名称；获取预设的提示模板，将多个层级名称作为关键词，并按照对应的背景层级的顺序依次填充到提示模板中的多个空位中，生成第一提示文本；根据第一提示文本和样本语料文本生成目标提示文本，并将目标提示文本输入预设的大语言模型中，得到与样本语料文本相关的目标问答对；基于目标问答对构建指令数据集。本申请实施例提供的指令数据集构建方法、装置、电子设备及存储介质，可以提高构建的指令数据集的质量。