Invention Publication
- Patent Title: 基于冲突注意力头剪枝的知识冲突消除方法以及装置
-
Application No.: CN202411309928.8Application Date: 2024-09-19
-
Publication No.: CN119358624APublication Date: 2025-01-24
- Inventor: 赵军 , 曹鹏飞 , 陈玉博 , 刘康 , 金卓然
- Applicant: 中国科学院自动化研究所
- Applicant Address: 北京市海淀区中关村东路95号
- Assignee: 中国科学院自动化研究所
- Current Assignee: 中国科学院自动化研究所
- Current Assignee Address: 北京市海淀区中关村东路95号
- Agency: 北京路浩知识产权代理有限公司
- Agent 曹守彬
- Main IPC: G06N3/082
- IPC: G06N3/082 ; G06N3/0495 ; G06N3/042 ; G06N3/0499

Abstract:
本发明提供一种基于冲突注意力头剪枝的知识冲突消除方法以及装置,其中,上述方法包括:获取原始输入与干扰输入;基于原始输入运行目标语言模型,确定每个注意力头的原始激活状态;基于干扰输入运行目标语言模型,确定每个注意力头的干扰激活状态;分别将每个注意力头的原始激活状态替换为干扰激活状态,确定每个注意力头的输出变化量;进而确定每个注意力头的代理重要性分数;基于每个注意力头的代理重要性分数进行排序,将目标序号的注意力头作为冲突注意力头,其中,冲突注意力头为上下文头;对冲突注意力头进行注意力剪枝,以消除目标语言模型的知识冲突;通过本发明能够提高模型在处理内部记忆和外部上下文时的灵活性。
Information query