公开(公告)号：CN110309287A

公开(公告)日：2019-10-08

申请号：CN201910612036.8

申请日：2019-07-08

Applicant: 北京邮电大学

Inventor： 时代 ,  李思 ,  孙忆南 ,  高升 ,  徐雅静 ,  徐蔚然 ,  陈光

IPC: G06F16/332 ,  G06F17/27 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种引入对话历史信息的局部注意力机制的检索式对话系统，在开放领域的检索式对话中，传统的模型分为表示层，匹配层，集成层，预测层中，最后从候选集中选出和对话最匹配的候选回复。将表示层划分成单句表示和句间关系两部分进行分别建模。在建模对话的轮次信息时使用局部注意力机制，使得在训练模型时，注意力机制能够获得对于匹配任务更有帮助的轮次信息。局部注意力机制也能够提高模型对整个对话中不同位置内容的关注能力。针对对话中的每部分内容，对重要信息赋予较大权重，次要信息或干扰信息赋予较小权重，实现更好的回复匹配，加快训练速度，提高模型效率。

公开(公告)号：CN110309287B

公开(公告)日：2021-07-06

申请号：CN201910612036.8

申请日：2019-07-08

Applicant: 北京邮电大学

Inventor： 时代 ,  李思 ,  孙忆南 ,  高升 ,  徐雅静 ,  徐蔚然 ,  陈光

IPC: G06F16/332 ,  G06F40/211 ,  G06F40/242 ,  G06F40/289 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种引入对话历史信息的局部注意力机制的检索式对话系统，在开放领域的检索式对话中，传统的模型分为表示层，匹配层，集成层，预测层中，最后从候选集中选出和对话最匹配的候选回复。将表示层划分成单句表示和句间关系两部分进行分别建模。在建模对话的轮次信息时使用局部注意力机制，使得在训练模型时，注意力机制能够获得对于匹配任务更有帮助的轮次信息。局部注意力机制也能够提高模型对整个对话中不同位置内容的关注能力。针对对话中的每部分内容，对重要信息赋予较大权重，次要信息或干扰信息赋予较小权重，实现更好的回复匹配，加快训练速度，提高模型效率。