Invention Publication
- Patent Title: 一种transfomer模型处理方法、可读存储介质及设备
-
Application No.: CN202210082776.7Application Date: 2022-01-24
-
Publication No.: CN114464172APublication Date: 2022-05-10
- Inventor: 阮锦标 , 段志奎 , 陈嘉维 , 于昕梅 , 高国智 , 严世泉 , 王虎伟
- Applicant: 佛山科学技术学院
- Applicant Address: 广东省佛山市南海区狮山镇仙溪水库西路佛山科学技术学院
- Assignee: 佛山科学技术学院
- Current Assignee: 佛山大学
- Current Assignee Address: 528000 广东省佛山市南海区狮山镇仙溪水库西路佛山科学技术学院
- Main IPC: G10L15/06
- IPC: G10L15/06 ; G10L15/16 ; G10L15/02
Abstract:
本发明提供了一种transfomer模型处理方法、可读存储介质及设备，transfomer模型处理方法包括步骤：在进行训练时，根据transfomer模型的子层权重，计算得到目标层，在下一次训练时，删除或者保留目标层。本发明通过正向传播和反向传播来自动确认需要删除或者保留的子层，即通过本次训练得到的权重去计算下一次训练时需要删除或者保留的子层，进而减少了模型的参数量，实现轻量级的transfomer模型。
Information query
