公开(公告)号：CN119026593A

公开(公告)日：2024-11-26

申请号：CN202411109907.1

申请日：2024-08-13

Applicant: 中国科学院自动化研究所 ,  北京百川智能科技有限公司 ,  北京英博数科科技有限公司

Inventor： 刘康 ,  陈玉博 ,  赵军 ,  曹鹏飞 ,  杜鹏帆 ,  梁思睿 ,  张保礼 ,  王炳宁 ,  陈炜鹏 ,  曾祥荣 ,  浦威 ,  李少鹏 ,  吴东

IPC: G06F40/226 ,  G06F16/332 ,  G06F16/31 ,  G06F40/30 ,  G06F40/186 ,  G06N20/00

Abstract: 本申请公开了一种用于大模型的评测方法及装置。所述评测方法包括：获取知识参考数据集，所述知识参考数据集包括常识知识参考数据集、世界知识参考数据集和语言知识参考数据集中的至少一者；基于所述知识参考数据集，构建未被包括在针对大型语言模型的训练语料库中的评测问题以及与评测问题对应的评测答案；针对每个评测问题的知识关系，构建多种问题模板，从而各个评测问题及其对应的评测答案以及多种问题模板构成用于大型语言模型的评测数据库；根据预设评测标准，利用所述评测数据库对待评测大型语言模型进行评测，得到所述待评测大型语言模型的评测结果。

公开(公告)号：CN119474298A

公开(公告)日：2025-02-18

申请号：CN202411403624.8

申请日：2024-10-09

Applicant: 北京百川智能科技有限公司 ,  北京英博数科科技有限公司 ,  中国人民大学

Inventor： 窦志成 ,  王淑婷 ,  文继荣 ,  余鑫 ,  王蟒 ,  陈炜鹏 ,  浦威 ,  宋琛 ,  李少鹏 ,  吴东

IPC: G06F16/3329 ,  G06F40/30 ,  G06N5/022

Abstract: 本申请提供了一种基于检索增强的大语言模型的回复生成方法、装置和设备，涉及人工智能技术领域，旨在生成高质量的回复语句。该方法包括：获取输入信息对应的初始知识特征向量序列；所述输入信息至少包括：查询语句，以及根据所述查询语句检索得到的知识文档；根据所述初始知识特征向量序列进行多阶段注意力交互，并根据注意力交互过程中文档知识特征向量的重要度，在不同阶段注意力交互采用不同的弃置策略去除与所述查询语句相关性低的文档知识特征向量，得到最终的知识特征向量序列；每阶段注意力交互包括至少一层注意力交互；根据所述最终的知识特征向量序列，生成所述查询语句的回复语句。