-
公开(公告)号:CN117724695A
公开(公告)日:2024-03-19
申请号:CN202410179354.0
申请日:2024-02-18
申请人: 浙江同花顺智能科技有限公司
摘要: 本申请公开了一种大型语言模型的代码生成优化方法、装置、设备及介质,涉及计算机技术领域,该方法包括:生成当前代码片段的语义表示,并获取所述当前代码片段的错误信息;获取目标策略网络基于所述语义表示和所述错误信息输出的与所述当前代码片段对应的修复建议和调试策略;将所述修复建议和所述调试策略输入至目标错误消息生成模型,以得到所述目标错误消息生成模型输出的与所述当前代码片段对应的错误消息;利用所述当前代码片段、所述修复建议、所述调试策略以及所述错误消息对大型语言模型中与代码生成优化相关的参数进行更新,得到优化后大型语言模型。通过上述方案,能够提升大型语言模型的代码生成能力及其自动化代码调试能力。
-
公开(公告)号:CN117093696A
公开(公告)日:2023-11-21
申请号:CN202311330003.7
申请日:2023-10-16
申请人: 浙江同花顺智能科技有限公司
IPC分类号: G06F16/332 , G06F16/33 , G06F40/30 , G06N3/045 , G06N3/092
摘要: 本发明公开了一种大语言模型的提问文本生成方法、装置、设备及介质,涉及计算机技术领域,包括:利用预设语义相似度检索算法对用户输入的初始提问文本进行相似文本检索得到相应的相似文本集合;利用预设策略梯度算法对策略网络进行训练;利用训练好的策略网络从相似文本集合中确定与初始提问文本对应的语义最相关的目标提问文本;将目标提问文本输入至大语言模型得到大语言模型根据目标提问文本对应的语义生成的符合用户意图的答复信息。本发明通过优化prompt的选择过程及其生成质量,从而能够有效缓解大语言模型对于不同prompt的输出敏感性和性能不稳定的问题,使得大语言模型能够更准确地生成符合用户意图的答复信息。
-
公开(公告)号:CN118093841B
公开(公告)日:2024-06-25
申请号:CN202410503318.5
申请日:2024-04-25
申请人: 浙江大学 , 浙江同花顺智能科技有限公司
IPC分类号: G06F16/332 , G06F16/33 , G06F16/36 , G06N3/0455
摘要: 本发明公开了一种用于问答系统的模型训练方法和问答方法,应用于自然语言处理领域,训练方法包括:利用预设提示词和初始大语言模型从知识文档中抽取隐藏知识,并利用初始向量模型构建向量数据库;将问句输入到初始向量模型中,得到问句向量,根据问句向量从向量数据库中检索到目标文本,计算得到召回率;将根据预设角色、原则和目标文本拼接得到的提示词输入到初始大语言模型中,得到生成结果,根据生成结果和问句答案对中的答案,计算得到生成率;根据生成率和召回率构建损失函数,并利用反向梯度法优化模型参数,更新向量数据库,得到训练好的大语言模型、向量模型和最终更新后的向量数据库。本方法训练的模型可以提高问答系统回答的准确性。
-
公开(公告)号:CN117744754A
公开(公告)日:2024-03-22
申请号:CN202410182485.4
申请日:2024-02-19
申请人: 浙江同花顺智能科技有限公司
IPC分类号: G06N3/092 , G06N5/04 , G06F18/214 , G06F18/23213
摘要: 本申请公开了一种大语言模型任务处理方法、装置、设备及介质,涉及计算机技术领域,包括:将当前待处理任务输入至目标共享模型中,以便所述目标共享模型输出与所述当前待处理任务对应的参考提示词;对所述当前待处理任务进行任务分解,以得到若干个待处理子任务;基于所述参考提示词,并利用目标策略网络生成与各个所述待处理子任务分别对应的目标提示词;利用各个所述目标提示词对各个所述待处理子任务进行处理,以得到所述待处理子任务的子处理结果,并将各个所述子处理结果进行组合,以得到所述当前待处理任务的目标处理结果。本申请实现自动化分解当前待处理任务以及生成目标提示词,能够提高任务分解、提示词生成的效率与可靠度。
-
公开(公告)号:CN117744754B
公开(公告)日:2024-05-10
申请号:CN202410182485.4
申请日:2024-02-19
申请人: 浙江同花顺智能科技有限公司
IPC分类号: G06N3/092 , G06N5/04 , G06F18/214 , G06F18/23213
摘要: 本申请公开了一种大语言模型任务处理方法、装置、设备及介质,涉及计算机技术领域,包括:将当前待处理任务输入至目标共享模型中,以便所述目标共享模型输出与所述当前待处理任务对应的参考提示词;对所述当前待处理任务进行任务分解,以得到若干个待处理子任务;基于所述参考提示词,并利用目标策略网络生成与各个所述待处理子任务分别对应的目标提示词;利用各个所述目标提示词对各个所述待处理子任务进行处理,以得到所述待处理子任务的子处理结果,并将各个所述子处理结果进行组合,以得到所述当前待处理任务的目标处理结果。本申请实现自动化分解当前待处理任务以及生成目标提示词,能够提高任务分解、提示词生成的效率与可靠度。
-
公开(公告)号:CN117724695B
公开(公告)日:2024-04-30
申请号:CN202410179354.0
申请日:2024-02-18
申请人: 浙江同花顺智能科技有限公司
摘要: 本申请公开了一种大型语言模型的代码生成优化方法、装置、设备及介质,涉及计算机技术领域,该方法包括:生成当前代码片段的语义表示,并获取所述当前代码片段的错误信息;获取目标策略网络基于所述语义表示和所述错误信息输出的与所述当前代码片段对应的修复建议和调试策略;将所述修复建议和所述调试策略输入至目标错误消息生成模型,以得到所述目标错误消息生成模型输出的与所述当前代码片段对应的错误消息;利用所述当前代码片段、所述修复建议、所述调试策略以及所述错误消息对大型语言模型中与代码生成优化相关的参数进行更新,得到优化后大型语言模型。通过上述方案,能够提升大型语言模型的代码生成能力及其自动化代码调试能力。
-
公开(公告)号:CN118093841A
公开(公告)日:2024-05-28
申请号:CN202410503318.5
申请日:2024-04-25
申请人: 浙江大学 , 浙江同花顺智能科技有限公司
IPC分类号: G06F16/332 , G06F16/33 , G06F16/36 , G06N3/0455
摘要: 本发明公开了一种用于问答系统的模型训练方法和问答方法,应用于自然语言处理领域,训练方法包括:利用预设提示词和初始大语言模型从知识文档中抽取隐藏知识,并利用初始向量模型构建向量数据库;将问句输入到初始向量模型中,得到问句向量,根据问句向量从向量数据库中检索到目标文本,计算得到召回率;将根据预设角色、原则和目标文本拼接得到的提示词输入到初始大语言模型中,得到生成结果,根据生成结果和问句答案对中的答案,计算得到生成率;根据生成率和召回率构建损失函数,并利用反向梯度法优化模型参数,更新向量数据库,得到训练好的大语言模型、向量模型和最终更新后的向量数据库。本方法训练的模型可以提高问答系统回答的准确性。
-
公开(公告)号:CN117093696B
公开(公告)日:2024-02-02
申请号:CN202311330003.7
申请日:2023-10-16
申请人: 浙江同花顺智能科技有限公司
IPC分类号: G06F16/332 , G06F16/33 , G06F40/30 , G06N3/045 , G06N3/092
摘要: 本发明公开了一种大语言模型的提问文本生成方法、装置、设备及介质,涉及计算机技术领域,包括:利用预设语义相似度检索算法对用户输入的初始提问文本进行相似文本检索得到相应的相似文本集合;利用预设策略梯度算法对策略网络进行训练;利用训练好的策略网络从相似文本集合中确定与初始提问文本对应的语义最相关的目标提问文本;将目标提问文本输入至大语言模型得到大语言模型根据目标提问文本对应的语义生成的符合用户意图的答复信息。本发明通过优化prompt的选择过程及其生成质量,从而能够有效缓解大语言模型对于不同prompt的
-
-
-
-
-
-
-