轻量化语义智能服务适配训练演化方法及系统
Abstract:
本申请实施例公开了轻量化语义智能服务适配训练演化方法及系统,所述方法包括:对Generator模型进行遮罩语言模型MLM任务训练;将训练文本数据输入生成器Generator模块以生成伪造字;使用伪造文本对恢复器Restorer模块进行还原替换标记RTR任务训练;将所述伪造文本作为输入、原文本和被伪造的位置作为预测标签,输入所述恢复器Restorer模块,以使得所述Restorer模块还原文本中被替换的字,并对伪造文本中的伪造字进行识别;基于Dynamic self‑adjustment动态自适配方法对所述Restorer模块的识别结果进行监控和调整。一方面增强了预训练模型的语义理解能力,另一方面减少了微调阶段模型的计算量和参数,使模型能够在边缘设备上进行微调和分布式动态适应训练。
Public/Granted literature
Patent Agency Ranking
0/0