-
公开(公告)号：CN114708270A
公开(公告)日：2022-07-05
申请号：CN202111533895.1
申请日：2021-12-15
Applicant: 华东师范大学
Abstract: 本发明公开了一种基于知识聚合与解耦蒸馏的语义分割模型压缩系统，包括学生模型、教师模型、特征层综合知识提取与编码模块、感知聚合模块、辅助预测器、标签解耦蒸馏模块。本发明还公开了一种基于上述系统的模型压缩方法，该方法通过特征层综合知识的提取与聚合策略，在蒸馏训练过程中，分别获得教师、学生模型的多种高维特征图及其聚合后的综合知识图；然后通过优化学生模型使其逼近教师的综合知识图，实现多种语义信息和上下文知识的蒸馏学习；构建辅助预测分支控制综合知识的聚合学习过程，并提供了轻量化的代理在线学习机制帮助学生模型学习；最后通过标签解耦蒸馏模块解耦教师‑学生模型输出端的软标签蒸馏和中间层的特征知识蒸馏。
-
公开(公告)号：CN114708270B
公开(公告)日：2023-08-08
申请号：CN202111533895.1
申请日：2021-12-15
Applicant: 华东师范大学
Abstract: 本发明公开了一种基于知识聚合与解耦蒸馏的压缩方法在语义分割中的应用，包括学生模型、教师模型、特征层综合知识提取与编码模块、感知聚合模块、辅助预测器、标签解耦蒸馏模块。本发明还公开了一种基于上述系统的模型压缩方法，该方法通过特征层综合知识的提取与聚合策略，在蒸馏训练过程中，分别获得教师、学生模型的多种高维特征图及其聚合后的综合知识图；然后通过优化学生模型使其逼近教师的综合知识图，实现多种语义信息和上下文知识的蒸馏学习；构建辅助预测分支控制综合知识的聚合学习过程，并提供了轻量化的代理在线学习机制帮助学生模型学习；最后通过标签解耦蒸馏模块解耦教师‑学生模型输出端的软标签蒸馏和中间层的特征知识蒸馏。
-
公开(公告)号：CN114565019A
公开(公告)日：2022-05-31
申请号：CN202210085563.X
申请日：2022-01-25
Applicant: 华东师范大学
Abstract: 本发明公开了一种基于对抗蒸馏的细粒度分类模型压缩系统，其特征在于，所述系统包括：生成器、固定教师模型、学生模型；所述生成器通过输入高斯噪声，在对抗蒸馏阶段中为教师模型和学生模型提供稳定的可供调节的生成样本；所述固定教师模型是经过预训练的模型；所述学生模型是模型压缩知识蒸馏的目标和客体，用于压缩后代替教师模型进行部署和推理。本发明还公开了利用上述模型压缩系统实现的基于对抗蒸馏的细粒度分类模型压缩方法。本发明适用于安全保护和模型压缩为目的的任务需求。对于细粒度分类任务，能够以最有效的方式提升模型的分类效果，同时该方法也适用于通用分类任务的模型压缩和隐私保护。
-
-
Search Results
3
records
(took 0.015 seconds)
