专利检索 ap:("华中科技大学") AND inv:"徐逸涵" 第 1 页

1.

发明公开
基于动态适配器和内部提示的三维预训练模型微调方法审中-实审

公开(公告)号：CN118171714A

公开(公告)日：2024-06-11

申请号：CN202410056688.9

申请日：2024-01-15

申请人： 华中科技大学

发明人： 周鑫 , 梁定康 , 徐逸涵 , 白翔

IPC分类号： G06N3/082 , G06N3/0455 , G06N3/0499 , G06V10/764 , G06V10/82 , G06V10/776 , G06V10/762

摘要： 本发明提出一种基于动态适配器和内部提示的三维预训练模型微调方法，所述微调方法包括：使用动态适配器，针对下游任务提供动态缩放和额外特征；利用动态适配器生成来自模型内部输出的提示，使得提示能够有效纳入模型的预训练知识。本发明提出的方案能够实现大幅度减少训练模型过程中的可调参数量、训练内存和存储成本，并在此基础上具备和全参数微调模型近似甚至更高的性能，实现了在可调参数量和模型任务性能之间的理想权衡。