发明公开
- 专利标题： 一种自注意力机制的动态调整方法及系统
-
申请号： CN202310251880.9申请日： 2023-03-16
-
公开(公告)号： CN118673895A公开(公告)日： 2024-09-20
- 发明人: 李玲 , 赫俊民 , 吴平 , 隋国华 , 杨玉军 , 张益政 , 冯电波 , 庞遵义 , 赵靓
- 申请人： 中国石油化工股份有限公司 , 中国石油化工股份有限公司胜利油田分公司
- 申请人地址： 北京市朝阳区朝阳门北大街22号;
- 专利权人： 中国石油化工股份有限公司,中国石油化工股份有限公司胜利油田分公司
- 当前专利权人： 中国石油化工股份有限公司,中国石油化工股份有限公司胜利油田分公司
- 当前专利权人地址： 北京市朝阳区朝阳门北大街22号;
- 代理机构： 北京世誉鑫诚专利代理有限公司
- 代理商 李世端
- 主分类号： G06F40/20
- IPC分类号： G06F40/20 ; G06N3/0455 ; G06N3/08
摘要：
本发明提供的一种自注意力机制的动态调整方法及系统，所述动态调整方法包括：设计动态调整窗口函数，用于采用注意力机制计算；动态调整自注意力机制在Transformer架构中的实现方式，控制离查询值距离不同的注意力权重。通过窗口调整函数，注意力机制计算时不必计算全局的变量，只需要计算合适范围内的值。在对模型性能损失较小的前提下降低模型的复杂度，使得模型能够处理更长的文本输入。
