-
公开(公告)号:CN111522921A
公开(公告)日:2020-08-11
申请号:CN202010151751.9
申请日:2020-03-06
申请人: 国网浙江省电力有限公司电力科学研究院 , 国网浙江玉环市供电有限公司
IPC分类号: G06F16/332 , G06F16/33 , G06F16/36 , G06N3/04
摘要: 本发明公开了一种基于语句改写的面向端到端对话的数据增强方法,涉及一种数据处理方法。目前现场增强难以实现系统层面的整体优化。本发明通过构建并训练一个语句改写模型来扩充对话生成模型的训练数据,通过定义用户语句的对话功能来构造语句改写模型的训练参考;采用基于序列到序列的框架,使用两个解码器依次解码前一轮系统对话动作和改写后的用户语句,前一轮系统对话动作可以为用户语句的改写提供对话历史背景,使得生成的改写语句更加符合对话语境。本技术方案在语句改写模型和对话生成模型的解码器之间加入了注意机制,实现端到端对话系统的搭建,并使得改写语句可以直接辅助对话生成,同时对话生成的结果也可以监督语句改写模型的训练。
-
公开(公告)号:CN111523669A
公开(公告)日:2020-08-11
申请号:CN202010151753.8
申请日:2020-03-06
申请人: 国网浙江省电力有限公司电力科学研究院 , 国网浙江玉环市供电有限公司
摘要: 本发明公开了一种基于知识图谱元信息的少次关系模型训练方法,涉及一种训练方法。目前,关系模型训练需要大量数据。本发明包括步骤:1)初始化元模型参数;2)在普通关系上进行迭代多轮训练,得到训练好的元模型参数,训练循环步骤为:201)随机采样普通关系和对应的支持集和查询集;202)在支持集上应用损失梯度,得到临时的模型参数;203)在查询集和临时模型参数上计算梯度损失,应用并更新元模型参数;3)使用元模型参数作为初始化参数,训练少次关系模型。本技术方案将关系分为普通关系和少次关系,进行区别对待,纠正每个关系都有足量的数据进行训练的假设;少次关系的模型仅需要很少的数据便可以训练的很好,提高效率及准确性。
-
公开(公告)号:CN111694934B
公开(公告)日:2024-07-19
申请号:CN202010330720.X
申请日:2020-04-24
申请人: 中国电力科学研究院有限公司 , 清华大学 , 国网浙江省电力有限公司电力科学研究院 , 国家电网有限公司客户服务中心 , 国家电网有限公司
IPC分类号: G06F16/332 , G06F16/35 , G06F40/289 , G06F40/205 , G06F40/126
摘要: 本发明提供了一种端到端的对话方法,包括:获取当前用户语言、上轮系统回复语言和上轮对话状态表示;对所述当前用户语言和上轮系统回复语言进行分词处理;基于每个分词和所述上轮对话状态表示,得到至少指示一个对话领域的当前对话状态表示;基于每个对话领域的对话状态表示,从历史信息中查询符合要求的实体,得到当前用户语言对应的回复信息表示;基于所述当前用户语言、所述当前对话状态表示和所述回复信息表示,得到涵盖所述用户语言相关的所有领域的系统回复语言,本发明方法采用了指示对话领域的对话状态表示,可以很好地处理多领域对话任务,避免了因使用领域分类模型对领域检测而造成的新噪声引入,提升了系统性能。
-
公开(公告)号:CN111694934A
公开(公告)日:2020-09-22
申请号:CN202010330720.X
申请日:2020-04-24
申请人: 中国电力科学研究院有限公司 , 清华大学 , 国网浙江省电力有限公司电力科学研究院 , 国家电网有限公司客户服务中心 , 国家电网有限公司
IPC分类号: G06F16/332 , G06F16/35 , G06F40/289 , G06F40/205 , G06F40/126
摘要: 本发明提供了一种端到端的对话方法,包括:获取当前用户语言、上轮系统回复语言和上轮对话状态表示;对所述当前用户语言和上轮系统回复语言进行分词处理;基于每个分词和所述上轮对话状态表示,得到至少指示一个对话领域的当前对话状态表示;基于每个对话领域的对话状态表示,从历史信息中查询符合要求的实体,得到当前用户语言对应的回复信息表示;基于所述当前用户语言、所述当前对话状态表示和所述回复信息表示,得到涵盖所述用户语言相关的所有领域的系统回复语言,本发明方法采用了指示对话领域的对话状态表示,可以很好地处理多领域对话任务,避免了因使用领域分类模型对领域检测而造成的新噪声引入,提升了系统性能。
-
公开(公告)号:CN111522921B
公开(公告)日:2023-06-02
申请号:CN202010151751.9
申请日:2020-03-06
申请人: 国网浙江省电力有限公司营销服务中心 , 国网浙江玉环市供电有限公司
IPC分类号: G06F16/332 , G06F16/33 , G06F16/36 , G06N3/0442
摘要: 本发明公开了一种基于语句改写的面向端到端对话的数据增强方法,涉及一种数据处理方法。目前现场增强难以实现系统层面的整体优化。本发明通过构建并训练一个语句改写模型来扩充对话生成模型的训练数据,通过定义用户语句的对话功能来构造语句改写模型的训练参考;采用基于序列到序列的框架,使用两个解码器依次解码前一轮系统对话动作和改写后的用户语句,前一轮系统对话动作可以为用户语句的改写提供对话历史背景,使得生成的改写语句更加符合对话语境。本技术方案在语句改写模型和对话生成模型的解码器之间加入了注意机制,实现端到端对话系统的搭建,并使得改写语句可以直接辅助对话生成,同时对话生成的结果也可以监督语句改写模型的训练。
-
-
-
-