专利检索 ap:("安徽大学" OR "北京航空航天大学") AND inv:"王晴雯" 第 1 页

1.

发明公开
一种基于任务匹配相似度的预训练模型的压缩方法审中-实审

公开(公告)号：CN118586459A

公开(公告)日：2024-09-03

申请号：CN202410637244.4

申请日：2024-05-22

申请人： 安徽大学 , 北京航空航天大学

发明人： 郭星 , 王晴雯 , 杜皓华

IPC分类号： G06N3/0495 , G06N3/082 , G06F17/16 , G06F17/11

摘要： 本发明公开了一种基于任务匹配相似度的预训练模型的压缩方法，包括以下步骤：S1，对模型进行预训练，得到一个经过大量数据训练的预训练神经网络模型；S2，聚合上游任务与下游任务的知识，对上游任务的通用任务知识和下游任务的特定任务知识的特征进行提取；S3，引入可学习的剪枝策略，通过学习提取的特征之间的相关性信息计算统计，保留相关性大于规定阈值的特征所对应的权重值，移除其余权重；S4，得到稀疏的权重矩阵后，对预训练神经网络模型再次训练，恢复模型精度。本发明有效地保留对模型目前任务贡献高的权重信息，使得模型在大幅度减少参数的基础上，能保留较好的性能，可以自适应的根据个性化任务的特定性寻找预训练模型的最优压缩策略。