发明公开
- 专利标题： 一种transfomer模型处理方法、可读存储介质及设备
-
申请号： CN202210082776.7申请日： 2022-01-24
-
公开(公告)号： CN114464172A公开(公告)日： 2022-05-10
- 发明人: 阮锦标 , 段志奎 , 陈嘉维 , 于昕梅 , 高国智 , 严世泉 , 王虎伟
- 申请人： 佛山科学技术学院
- 申请人地址： 广东省佛山市南海区狮山镇仙溪水库西路佛山科学技术学院
- 专利权人： 佛山科学技术学院
- 当前专利权人： 佛山大学
- 当前专利权人地址： 528000 广东省佛山市南海区狮山镇仙溪水库西路佛山科学技术学院
- 主分类号： G10L15/06
- IPC分类号： G10L15/06 ; G10L15/16 ; G10L15/02
摘要：
本发明提供了一种transfomer模型处理方法、可读存储介质及设备，transfomer模型处理方法包括步骤：在进行训练时，根据transfomer模型的子层权重，计算得到目标层，在下一次训练时，删除或者保留目标层。本发明通过正向传播和反向传播来自动确认需要删除或者保留的子层，即通过本次训练得到的权重去计算下一次训练时需要删除或者保留的子层，进而减少了模型的参数量，实现轻量级的transfomer模型。
