Invention Grant
- Patent Title: 轻量化语义智能服务适配训练演化方法及系统
-
Application No.: CN202110334447.2Application Date: 2021-03-29
-
Publication No.: CN113094482BPublication Date: 2023-10-17
- Inventor: 张玉清 , 郭智宸 , 周长兵
- Applicant: 中国地质大学(北京)
- Applicant Address: 北京市海淀区学院路29号
- Assignee: 中国地质大学(北京)
- Current Assignee: 中国地质大学(北京)
- Current Assignee Address: 北京市海淀区学院路29号
- Agency: 北京华清迪源知识产权代理有限公司
- Agent 杜立军
- Main IPC: G06F16/332
- IPC: G06F16/332 ; G06F16/33 ; G06F40/30
Abstract:
本申请实施例公开了轻量化语义智能服务适配训练演化方法及系统,所述方法包括:对Generator模型进行遮罩语言模型MLM任务训练;将训练文本数据输入生成器Generator模块以生成伪造字;使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练;将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签,输入所述恢复器Restorer模块,以使得所述Restorer模块还原文本中被替换的字,并对伪造文本中的伪造字进行识别;基于Dynamic self‑adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。一方面增强了预训练模型的语义理解能力,另一方面减少了微调阶段模型的计算量和参数,使模型能够在边缘设备上进行微调和分布式动态适应训练。
Public/Granted literature
- CN113094482A 轻量化语义智能服务适配训练演化方法及系统 Public/Granted day:2021-07-09
Information query