公开(公告)号：CN117370515A

公开(公告)日：2024-01-09

申请号：CN202311305321.8

申请日：2023-10-10

Applicant: 中国科学院信息工程研究所

Inventor： 韩言妮 ,  王侃 ,  江涵 ,  张雯 ,  丁颖

IPC: G06F16/332 ,  G06F18/214 ,  G06F18/2415 ,  G06N3/045 ,  G06N3/084

Abstract: 本发明提供一种引入连续潜变量的多样性回复生成方法。包括以下步骤：步骤S1：处理对话数据，构建输入对话数据：将所有对话视作连续文本，以每次切换说话者作为分割，依照对话先后顺序交替给出对话数据，从而构建出输入对话数据。步骤S2：对话行为识别：将对话输入选定的BERT语言模型，利用BERT语言模型的输出计算当前对话行为，在代表对话行为接入四个全连接神经网络即构建transformer模型，使用模型识别当前对话行为；步骤S3：输出回复生成：使用步骤S2的transformer模型的对话行为识别部分计算得出的对话行为值，生成候选回复，然后验证候选回复正确概率选择最终回复结果。

公开(公告)号：CN117370516A

公开(公告)日：2024-01-09

申请号：CN202311307235.0

申请日：2023-10-10

Applicant: 中国科学院信息工程研究所

Inventor： 韩言妮 ,  王侃 ,  张雯 ,  丁颖 ,  江涵

IPC: G06F16/332 ,  G06F40/284 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明涉及一种基于层级对比学习知识增强对话系统训练的方法，其方法包括：首先，选择对话数据和知识数据并对对话数据和知识数据进行处理得到语言模型的输入数据；其次，语言模型依照输入数据生成回复，生成回复的过程包括选取合适的语言模型处理数据和选取合适的解码算法生成回复；最后，使用层级对比学习及其扩展回传梯度更新模型参数。在使用预训练语言模型的基础上，在训练过程中为模型施加层级对比学习约束及其扩展锚点损失约束。在保证语言语法层面质量的基础上改善文本词表示、整合知识和对话文本空间并且调整知识神经元分布，从而提升对话系统对外部知识使用准确度，进而提升对话回复生成质量。