-
公开(公告)号：CN117892790A
公开(公告)日：2024-04-16
申请号：CN202410041372.2
申请日：2024-01-11
申请人： 华东师范大学
IPC分类号： G06N3/084 , G06N3/0455
摘要： 本发明公开了一种基于token增长的高效Transformer神经网络训练方法，其可以做到在不损失主流Transformer神经网络的最终性能，甚至提升神经网络性能的条件下，提高Transformer网络的训练速度。本发明可以在训练过程中减少Transformer的token数量，同时保留Transformer神经网络的中间特征空间中含有重要信息的token，无需修改原本Transformer神经网络任何超参数、架构和训练策略，在一个token渐进增长的训练框架下完成Transformer的高效训练。本发明的高效Transformer训练方法相比较于业内其他训练方法，处于领先水平。
-
公开(公告)号：CN113689346A
公开(公告)日：2021-11-23
申请号：CN202110940699.X
申请日：2021-08-17
申请人： 华东师范大学
摘要： 本发明公开了一种基于对比学习的紧凑深度学习去雾方法，其方法包括：首先通过训练一个紧凑的深度学习模型获得预测的复原图像，然后将输入的雾图，对应的清晰图，以及预测的复原图分别输入到一个预训练的VGGNet模型以获得中间特征；最后，将这些特征输入到重建损失函数和所提出的对比正则项进行训练。本发明可以有效缓解图像复原中出现伪影，颜色失真等问题，且具有即插即用的特性，可灵活用于多种模型和多种图像复原任务。
-
公开(公告)号：CN113538233A
公开(公告)日：2021-10-22
申请号：CN202110709066.8
申请日：2021-06-25
申请人： 华东师范大学
摘要： 本发明公开了一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法，其特点是采用自蒸馏框架引入基于对比学习的损失函数，通过训练一个参数量较大的教师模型，从中选取每一层的前1/r的通道构成学生模型，其参数与教师模型共享，利用教师模型的预测输出、负样本和高分辨率图像计算重建损失和对比损失。本发明与现有技术相比具有即插即用性，在压缩和加速的同时仍能保证生成图像的真实性，大大减少了模型的参数量和计算量，可以对目前现有的所有超分辨率模型同时进行压缩和加速，通过使用对比损失，对解空间的上下界进行约束，在减少模型参数量的同时保证模型的性能，使复原得到的图片有更强的真实性。
-
公开(公告)号：CN117459736A
公开(公告)日：2024-01-26
申请号：CN202311361124.8
申请日：2023-10-19
申请人： 华东师范大学
IPC分类号： H04N19/189 , G06N3/0464 , G06N3/08
摘要： 本发明公开了一种基于克罗内克重参数化的图像压缩感知方法，其包括：a)训练深度采样模块和重建模块；b)将深度采样模块用克罗内克重参数化的方法压缩至单层卷积，能有效部署至光学采样设备；c)固定重参数后的采样模块，对重建模块进行微调；d)对重建模块进行量化压缩，整合部署到移动端。本发明能够将采样模块压缩为一层卷积，在不降低图像重建质量的情况下使得采样模块能够被部署到光学采样设备上，同时提出自适应重建模块（Adaptive Reconstruction Module），结合模型量化技术，在不失可行性和应用性的情况下，使图像重建质量达到业界领先水平。
-
公开(公告)号：CN114565810A
公开(公告)日：2022-05-31
申请号：CN202210220060.9
申请日：2022-03-08
申请人： 华东师范大学
IPC分类号： G06V10/776 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08 , G06N20/00 , G06F16/535
摘要： 本发明涉及一种基于数据保护场景下的模型压缩方法及系统，属于模型压缩领域，将传统的模型反演扩展到基于多教师集成的模型反演，充分反演来自教师的更丰富的信息以生成可泛化的数据。另外教师内部对比用于逐步合成具有与历史样本不同模式的新样本，师生对比旨在推动学生与同构教师之间的关系远离表示空间中的非同构关系，以提高合成数据的多样性。并且以对抗的方式训练图像生成和知识转移的过程，以同时学习学生模型和生成合成数据。本发明不依赖于模型原始的训练数据，通过多教师模型的知识蒸馏以及引入基于对比学习的损失函数，对无数据的模型压缩方法进行有效压缩和压缩后的模型具有更高的准确率。
-
-
-
-
搜索结果
5 条记录 (耗时 0.026 秒)
