公开(公告)号：CN118428448A

公开(公告)日：2024-08-02

申请号：CN202410579421.8

申请日：2024-05-11

Applicant: 北京邮电大学

Inventor： 赵东 ,  马华东 ,  张正源 ,  刘仁浩 ,  姚宇星

IPC: G06N3/096 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084 ,  G06F18/22

Abstract: 本发明属于迁移学习技术领域，具体涉及一种面向边端设备的轻量化对比迁移学习方法。本发明的方法包括以下步骤：首先基于包含预训练权重的边端设备定制模型，添加可学习的SiameseResidual模块；然后构建LiteSiamese对比迁移学习架构，并使用对比迁移学习方法用冻结主干网络、只更新SiameseResidual模块的方式微调边端设备定制模型。本发明的方法通过冻结主干网络的预训练权重，引入可学习的SiameseResidual模块显著减少了训练所需的内存，利用LiteSiamese对比迁移学习架构微调可学习权重并使用预训练权重约束对比损失，提高了模型在边端设备上的性能。

公开(公告)号：CN118350443A

公开(公告)日：2024-07-16

申请号：CN202410579338.0

申请日：2024-05-11

Applicant: 北京邮电大学

Inventor： 赵东 ,  马华东 ,  刘仁浩 ,  张正源 ,  姚宇星

IPC: G06N3/0895 ,  G06N3/0464 ,  G06F18/24 ,  G06F18/214

Abstract: 一种面向自监督训练的轻量化本地神经网络结构搜索方法，属于边缘计算相关领域，包括：构建序列搜索空间；构建Memory‑FLOPs对应表；构建训练质量预测器；多目标贝叶斯优化；通过搜索得到目标设备的最优模型结构之后，构建最优模型并将预训练模型中的权重加载到最优模型中。本发明在边端设备上只需要300秒到3000秒就能生成一个定制模型，比前部署NAS技术快18.8倍。与最先进的后部署NAS技术相比，本发明拥有相当的搜索时间，并且本发明在进行后续的数据环境适配时不需要将设备本地的数据上传到云端，保护了数据隐私并减小了数据传输成本。