一种数据处理方法、装置、设备、介质及程序产品

    公开(公告)号:CN118796980A

    公开(公告)日:2024-10-18

    申请号:CN202410877689.X

    申请日:2024-07-02

    摘要: 本发明提供了一种数据处理方法、装置及电子设备,涉及数据处理技术领域。其中,所述数据处理方法包括:对多个第一数据文件进行第一处理,获得训练样本;其中,第一处理包括:数据混合处理和/或数据切片处理;任意两个第一数据文件的数据类型不同;在利用训练样本进行训练的过程中,若已经完成训练的第一训练样本的质量低于第二数据文件的质量,则利用第二数据文件对未参与训练的第一数据文件进行更新,获得更新的训练样本;其中,第二数据文件是多个第一数据文件之外的其他数据文件;第二数据文件和第一训练样本的数据类型相同。本发明的方案,能够在训练过程中,利用高质量的第二数据文件实现对训练样本的动态更新,从而提升模型的训练效果。

    文件处理方法、客户端、服务器及存储介质

    公开(公告)号:CN118796774A

    公开(公告)日:2024-10-18

    申请号:CN202410001689.3

    申请日:2024-01-02

    摘要: 本申请实施例提供了一种文件处理方法、客户端、服务器及存储介质,该方法包括:接收客户端发送的第一模型信息,所述第一模型信息包括待上传的第一模型文件的文件唯一标识和/或所述第一模型文件的分块信息;根据第一模型信息,获得第一模型文件的文件唯一标识,并在第一数据库表查找所述第一模型文件的文件唯一标识;在第一数据库表中记录有所述第一模型文件的文件唯一标识的情况下,根据所述多个第一数据块的数据块存储路径以及所述多个第一数据块的数据块顺序号,对所述多个第一数据块进行合并得到第一模型文件,并将第一模型文件存入所述客户端对应的第一用户路径。本申请实施例能够减少客户端上传不必要的数据块,从而减少了带宽消耗。

    神经网络模型压缩方法和系统
    5.
    发明公开

    公开(公告)号:CN116542311A

    公开(公告)日:2023-08-04

    申请号:CN202210086928.0

    申请日:2022-01-25

    IPC分类号: G06N3/082 G06N3/0464

    摘要: 本发明提供一种神经网络模型压缩方法和系统,该神经网络模型压缩方法包括:针对训练集中的每个训练样本,将训练样本输入至待量化的神经网络模型,并提取神经网络模型的卷积层中各个通道的激励因子;针对卷积层中的每个通道,根据训练集中的所有训练样本对应的所述通道的激励因子确定通道的权重;根据卷积层中每个通道的权重,对卷积层中每个通道进行量化,其中,每个通道的量化程度与通道的权重负相关。本发明中,依据卷积层的通道的权重(重要性)确定通道的量化程度,重要性的通道量化程度低,不重要的通道量化程度高,可以在保证神经网络模型性能的同时,减少冗余的不重要的参数的数量,从而减少神经网络模型的存储空间和运行时内存。

    一种资源分配方法、装置和电子设备

    公开(公告)号:CN116339964A

    公开(公告)日:2023-06-27

    申请号:CN202111587741.0

    申请日:2021-12-23

    IPC分类号: G06F9/50

    摘要: 本发明提供一种资源分配方法、装置和电子设备,涉及网络传输技术领域,所述方法包括:在获取到第一任务的第一GPU资源调用请求时,判断所述第一任务是否有运行于第一GPU的资源授权信息;在判断所述第一任务没有运行于所述第一GPU的资源授权信息时,根据等待队列的任务数量、所述等待队列中每一任务对应的优先级级别和第一GPU资源使用率,以及所述第一GPU当前运行的任务数量和任务对应的优先级级别,确定所述第一任务的资源授权信息;所述等待队列包括至少一个待分配第一GPU资源的任务;所述资源授权信息包括所述第一任务在所述第一GPU运行的时间配额,能够保证第一优先级任务的性能,提高GPU资源使用率,减少系统开销。

    信息预测模型的构建方法、信息预测方法及装置

    公开(公告)号:CN118821982A

    公开(公告)日:2024-10-22

    申请号:CN202410199624.4

    申请日:2024-02-22

    摘要: 本发明实施例公开了一种信息预测模型的构建方法、信息预测方法及装置,方法包括:获取样本数据集,包括多个样本数据以及各自的标签数据,所述样本数据包括事故相关的多个特征数据;所述标签数据表征参与事故救援的相关资源信息;基于样本数据集分别对多个第一初始模型进行训练,获得信息预测模型的第一层模型;所述第一层模型包括每个第一初始模型对应的多个基模型,所述每个第一初始模型对应的多个基模型由每个第一初始模型对样本数据集进行多次交叉验证获得;根据第一层模型中各个基模型对每个样本数据的预测结果确定第一特征数据,基于第一特征数据和每个样本数据对应的标签数据对第二初始模型进行训练,获得信息预测模型的第二层模型。

    一种资源编排调度方法、装置、节点和存储介质

    公开(公告)号:CN118819807A

    公开(公告)日:2024-10-22

    申请号:CN202410130251.5

    申请日:2024-01-30

    IPC分类号: G06F9/50

    摘要: 本发明实施例公开了一种资源编排调度方法、装置、节点和存储介质。所述方法包括:主节点利用第一模型算法预估多个工作节点运行待分配的第一业务实例的计算时间;所述主节点基于所述计算时间得到对应于每个工作节点的评价结果,基于所述评价结果和第二模型算法获得对应于每个工作节点对应的得分,按照每个工作节点对应的得分获得第一排序队列;所述主节点至少基于所述第一排序队列,获得推荐调度队列,按照所述推荐调度队列为所述第一业务实例分配至少一个第一工作节点。