-
公开(公告)号：CN117151173A
公开(公告)日：2023-12-01
申请号：CN202311119652.2
申请日：2023-08-31
IPC分类号： G06N3/0495 , G06N3/082 , G06N3/084 , G06N3/045 , G06N3/096 , G06N3/0985 , G06F18/214 , G06F18/21 , G06F40/289 , G06F16/35
摘要： 本发明公开了一种基于元学习的模型压缩方法，包括：获取情感分类数据集并进行数据预处理；将预处理后的数据样本输入至模型压缩模块中，对预训练语言模型压缩，在推理阶段实现情感分类结果的输出，所述模型压缩模块包含微调、剪枝、元学习蒸馏等操作。所述微调阶段，基于数据集训练预训练语言模型得到第一教师模型；剪枝阶段，利用缩放系数剪枝第一教师模型，得到第一学生模型；基于数据集和蒸馏训练方法训练得到第二学生模型，并将第二模型部署于终端，实现情感分类预测。本发明采用模型压缩方法应用于大模型情感分类预测，保证情感分类结果精度的情况下，降低了模型参数量，更利于部署应用。
-
公开(公告)号：CN117910329B
公开(公告)日：2024-09-13
申请号：CN202410309464.4
申请日：2024-03-19
IPC分类号： G06F30/25 , G06F30/27 , G06N3/006 , G06N3/0442
摘要： 本发明涉及计算机技术领域，提供了一种基于改进粒子群优化算法的海洋时序数据预测方法及系统。该方法包括，获取海洋传感器样本数据，采用改进的粒子群优化算法对预测模型的超参数进行优化，得到最优超参数，以此得到已训练的预测模型；获取待预测的海洋传感器数据，采用已训练的预测模型，得到预测结果；其中，所述改进的粒子群优化算法包括：采用非线性动态权重替换固定惯性权重，并在非线性动态权重中引入自适应权重因子。本发明通过将固定权重改为非线性动态权重，早期设置较大的权重，促进全局搜索，后期利用较小的权重提升局部搜索能力。这种动态调整有助于在全局探索和局部精细调整之间找到更好的平衡。
-
公开(公告)号：CN116452404A
公开(公告)日：2023-07-18
申请号：CN202310437009.8
申请日：2023-04-18
摘要： 本发明提出了一种深度学习模型分布式训练的内存优化方法及系统，包括：将目标深度学习模型的多个网络层基于图形处理器数量划分为多个区；每个区的网络层在进行训练时，下一训练批次的反向传播基于上一训练批次的反向传播的参数，进行交叉训练；若同一训练批次前向传播和后向传播所运行时的张量大于所在图形处理器上权重缓冲区的内存，则将所述张量分配至中央处理器上执行后并返回至所在的图形处理器。通过建立下一训练批次的反向传播和上一训练批次的反向传播的依赖关系，保证了稳定的交叉训练；通过将图形处理器上权值交换到中央处理器上处理，从而减轻图形处理器上内存的压力。
-
公开(公告)号：CN118070888A
公开(公告)日：2024-05-24
申请号：CN202410236056.0
申请日：2024-03-01
IPC分类号： G06N5/022 , G06F18/214
摘要： 本发明提出了基于自适应动态温度的元学习知识蒸馏方法及系统，在元学习阶段，首先复制第一学生模型，将复制得到的第二学生模型与第一教师模型进行蒸馏，根据第二学生模型的反馈动态更新第一教师模型，提高第一教师模型的“教学能力”，最终得到更新后的第一教师模型；在蒸馏阶段，使用已更新的第一教师模型与第一学生模型进行知识蒸馏操作；与此同时，为了提高蒸馏效果，动态调整蒸馏温度，这一过程有效地提升了蒸馏操作的性能。
-
公开(公告)号：CN116681112A
公开(公告)日：2023-09-01
申请号：CN202310526213.7
申请日：2023-05-06
IPC分类号： G06N3/0495 , G06N3/082 , G06N3/0985
摘要： 本发明属于深度学习的数据分析工作流领域，提供了一种基于Ray的云边协同数据分析工作流优化方法及系统。该方法包括，获取数据集，基于Ray，采用数据集在终端设备上训练第一学生模型和第一教师模型，得到蒸馏训练方法；将数据集和蒸馏训练方法上传至云端，设置并行工作器的数量和超参数，采用数据集和蒸馏训练方法在云端上训练第二学生模型和第二教师模型，得到训练好的第二学生模型，并将训练好的第二学生模型部署到终端。本发明采用优化的模型压缩方法对云端训练好的大模型进行压缩操作获得小模型，将小模型一键部署到资源受限的终端设备上。
-
公开(公告)号：CN117910329A
公开(公告)日：2024-04-19
申请号：CN202410309464.4
申请日：2024-03-19
IPC分类号： G06F30/25 , G06F30/27 , G06N3/006 , G06N3/0442
摘要： 本发明涉及计算机技术领域，提供了一种基于改进粒子群优化算法的海洋时序数据预测方法及系统。该方法包括，获取海洋传感器样本数据，采用改进的粒子群优化算法对预测模型的超参数进行优化，得到最优超参数，以此得到已训练的预测模型；获取待预测的海洋传感器数据，采用已训练的预测模型，得到预测结果；其中，所述改进的粒子群优化算法包括：采用非线性动态权重替换固定惯性权重，并在非线性动态权重中引入自适应权重因子。本发明通过将固定权重改为非线性动态权重，早期设置较大的权重，促进全局搜索，后期利用较小的权重提升局部搜索能力。这种动态调整有助于在全局探索和局部精细调整之间找到更好的平衡。
-
公开(公告)号：CN117010444A
公开(公告)日：2023-11-07
申请号：CN202311092924.4
申请日：2023-08-28
IPC分类号： G06N3/0442 , G06N20/00
摘要： 本发明涉及时序数据预测领域，提供了一种面向时序数据预测的自动学习方法及系统。该方法包括，采用spark获取时序数据，并对时序数据进行预处理；设置神经网络的超参数搜索空间和对应的超参数搜索算法，并将任务分发至集群中，以使集群采用神经网络对任务进行超参数调优与模型训练，得到最优超参数组合，并采用Ray Serve将超参数最优的神经网络部署在各个节点上，用于对时序数据的预测。本发明能够高效、快速、方便地在面向时序数据预测时，自动完成模型的训练、超参数搜索优化以及模型的部署工作。
-
-
-
-
-
-
搜索结果
7 条记录 (耗时 0.058 秒)
