基于冲突注意力头剪枝的知识冲突消除方法以及装置
Abstract:
本发明提供一种基于冲突注意力头剪枝的知识冲突消除方法以及装置,其中,上述方法包括:获取原始输入与干扰输入;基于原始输入运行目标语言模型,确定每个注意力头的原始激活状态;基于干扰输入运行目标语言模型,确定每个注意力头的干扰激活状态;分别将每个注意力头的原始激活状态替换为干扰激活状态,确定每个注意力头的输出变化量;进而确定每个注意力头的代理重要性分数;基于每个注意力头的代理重要性分数进行排序,将目标序号的注意力头作为冲突注意力头,其中,冲突注意力头为上下文头;对冲突注意力头进行注意力剪枝,以消除目标语言模型的知识冲突;通过本发明能够提高模型在处理内部记忆和外部上下文时的灵活性。
Patent Agency Ranking
0/0