发明公开
- 专利标题: 基于NLP大模型的模型训练方法
-
申请号: CN202410744350.2申请日: 2024-06-11
-
公开(公告)号: CN118734924A公开(公告)日: 2024-10-01
- 发明人: 严宇平 , 裴求根 , 钱正浩 , 阮伟聪 , 林嘉鑫 , 林浩 , 陈泽鸿 , 邵彦宁 , 吴文远 , 胡波
- 申请人: 广东电网有限责任公司
- 申请人地址: 广东省广州市越秀区东风东路757号
- 专利权人: 广东电网有限责任公司
- 当前专利权人: 广东电网有限责任公司
- 当前专利权人地址: 广东省广州市越秀区东风东路757号
- 代理机构: 深圳天融专利代理事务所
- 代理商 朱正红
- 主分类号: G06N3/084
- IPC分类号: G06N3/084 ; G06N3/0455 ; G06N3/094 ; G06N3/0985
摘要:
本发明提出了基于NLP大模型的模型训练方法,方法包括:基于深度学习构建一个可变形态模型;设计增强学习算法,实施动态奖励机制实现自适应反馈,根据可变形态模型的实时表现调整奖励和惩罚;引入元学习策略,设计高维任务适应器对可变形态模型进行训练;根据元学习策略训练后的可变形态模型,设计使用任务相关性分数调整任务间的优先级和相关性,再动态调整训练资源分配实现多任务优化;对已训练好的可变形态模型实施对抗性多语言学习方法,用于促进高资源语言到低资源语言的知识迁移。本发明系统性地构建了一个高效且自适应的多任务、多语言NLP模型训练系统,实现确保了模型在训练、优化及应用阶段的连续性和协同性。