公开(公告)号：CN118656434A

公开(公告)日：2024-09-17

申请号：CN202410791744.3

申请日：2024-06-18

申请人： 北京航空航天大学杭州创新研究院 ,  杭州齐芯智光科技有限责任公司

发明人： 刘晶 ,  陈东 ,  齐永兴 ,  丁文强 ,  胡程楠 ,  吴铤

IPC分类号： G06F16/31 ,  G06F16/33

摘要： 本发明涉及一种用于大模型精准检索的输入信息的获取方法及系统，包括：对当前用户的提问信息进行向量化处理，获取第一向量及关键词集合一；基于提问信息，在向量数据库中进行检索，获得与第一向量匹配的所有向量结果，针对每一向量结果得到一个关键词集合二；删除关键词集合二中与关键词集合一存在相同关键词的信息，得到关键词集合三；对关键词集合三进行处理，获取第二向量，将第一向量与第二向量进行点积运算，获得每一个文档的注意力权重；基于每一个文档的注意力权重，获取在预设范围内的文档；将在预设范围内的文档与提问信息组合输入预先给定的提示词模型，获得用于输入精准检索的大模型的输入信息。本发明能够提高大模型检索精确率。

公开(公告)号：CN117453424B

公开(公告)日：2024-04-19

申请号：CN202311804579.2

申请日：2023-12-26

申请人： 北京航空航天大学杭州创新研究院

发明人： 齐永兴 ,  陈东 ,  吴铤 ,  王雷 ,  于洋

IPC分类号： G06F9/50

摘要： 本发明涉及一种可动态扩展计算资源的加速算法运行效率的方法及装置，其方法包括：识别计算机或服务器的操作系统；基于操作系统来识别并记录计算机或服务器的硬件资源，结合自身提供的硬件资源形成资源池；向测试方提供所支持的算法对应的SDK，以供测试方调用测试项目进行算法测试，待测试完成返回所支持算法的性能测试数据；根据上层服务传输过来的计算指令、计算指令所对应算法的性能测试数据以及资源池的计算资源的当前使用情况，调用资源池中其他计算资源以单独或组合的方式参与该计算指令的运算工作。本发明解放CPU的计算压力，合理调度资源，将计算密集型的算法从CPU转移和分流，大幅降低了CPU的计算压力，提高系统稳定性。

公开(公告)号：CN117453424A

公开(公告)日：2024-01-26

申请号：CN202311804579.2

申请日：2023-12-26

申请人： 北京航空航天大学杭州创新研究院

发明人： 齐永兴 ,  陈东 ,  吴铤 ,  王雷 ,  于洋

IPC分类号： G06F9/50

摘要： 本发明涉及一种可动态扩展计算资源的加速算法运行效率的方法及装置，其方法包括：识别计算机或服务器的操作系统；基于操作系统来识别并记录计算机或服务器的硬件资源，结合自身提供的硬件资源形成资源池；向测试方提供所支持的算法对应的SDK，以供测试方调用测试项目进行算法测试，待测试完成返回所支持算法的性能测试数据；根据上层服务传输过来的计算指令、计算指令所对应算法的性能测试数据以及资源池的计算资源的当前使用情况，调用资源池中其他计算资源以单独或组合的方式参与该计算指令的运算工作。本发明解放CPU的计算压力，合理调度资源，将计算密集型的算法从CPU转移和分流，大幅降低了CPU的计算压力，提高系统稳定性。