- 专利标题: 一种基于知识引导注意力的机器阅读理解方法
-
申请号: CN201911423787.1申请日: 2019-12-31
-
公开(公告)号: CN111241807B公开(公告)日: 2021-06-29
- 发明人: 庄越挺 , 浦世亮 , 汤斯亮 , 谭洁 , 郝雷光 , 吴飞
- 申请人: 浙江大学
- 申请人地址: 浙江省杭州市西湖区余杭塘路866号
- 专利权人: 浙江大学
- 当前专利权人: 浙江大学
- 当前专利权人地址: 浙江省杭州市西湖区余杭塘路866号
- 代理机构: 杭州求是专利事务所有限公司
- 代理商 傅朝栋; 张法高
- 主分类号: G06F40/205
- IPC分类号: G06F40/205 ; G06F40/289 ; G06F40/30 ; G06N3/04
摘要:
本发明公开了一种基于知识引导注意力的机器阅读理解方法。该方法包括如下步骤:(1)利用预训练的词嵌入矩阵得到本文序列的词向量;(2)利用双向GRU网络来对文本中每个单词的上下文信息进行建模;(3)将问题的上下文表示作为初始隐藏层状态输入到单向GRU网络,GRU网络使用基于注意力的回看机制迭代地执行搜索步骤以收集文章中可能用于预测答案的信息;(4)将外部知识作为长期记忆加入回看机制,在回看过程中来引导注意力的焦点,模型会重新分配注意力分数;(5)在单向GRU网络的输出端经过指针网络得到预测的答案。本发明是一个端到端的模型,不需要未标注语料集中除预训练好的词向量之外的数据预处理,因此本发明能在不同的语言和领域的阅读理解中有广泛应用。
公开/授权文献
- CN111241807A 一种基于知识引导注意力的机器阅读理解方法 公开/授权日:2020-06-05