任务处理方法、装置、分布式系统、介质及程序产品

    公开(公告)号:CN114691366A

    公开(公告)日:2022-07-01

    申请号:CN202210322907.4

    申请日:2022-03-30

    IPC分类号: G06F9/50

    摘要: 本申请涉及一种任务处理方法、装置、分布式系统、介质及程序产品。该方法包括:主系统服务器从数据源中获取多个待处理任务,将多个待处理任务划分为与分布式系统中从系统服务器的数量相同的处理任务数据块,将各处理任务数据块对应分配至各从系统服务器,以指示各从系统服务器对接收到的处理任务数据块进行处理。采用本方法能够避免待处理任务被重复处理而导致任务并行处理结果异常的问题,可以保证分布式系统在处理一项完整任务的过程中,每时每刻均有一个主系统服务器能够正常运行,使得分布式系统可以对多个待处理任务进行正常划分,确保多个待处理任务不被重复划分,从而可以提高任务并行处理结果的准确性。

    基于异构加速平台的分布式计算调整方法、装置及设备

    公开(公告)号:CN113485805A

    公开(公告)日:2021-10-08

    申请号:CN202110742629.3

    申请日:2021-07-01

    发明人: 田丽红 胡辰 许涛

    IPC分类号: G06F9/48 G06N3/04 G06N3/08

    摘要: 本发明实施例公开了一种基于异构加速平台的分布式计算调整方法、装置及设备。该方法包括:在目标深度学习模型基于异构加速平台完成分布式计算时,获取与分布式计算相关的至少一种目标性能数据;如果目标性能数据符合与所述目标性能数据对应的异常条件,则根据与所述目标性能数据匹配的调整策略对基于异构加速平台的分布式计算进行调整。通过本发明实施例的技术方案基于异构加速平台的分布式计算进行相关调整后,能够有效提高基于异构加速平台的分布式计算的性能,加快深度学习模型的分布式计算效率。

    一种资源映射方法和装置

    公开(公告)号:CN108345504A

    公开(公告)日:2018-07-31

    申请号:CN201810104538.5

    申请日:2018-02-02

    IPC分类号: G06F9/50 G06F9/48

    摘要: 本发明公开了一种资源映射方法和装置,该资源映射方法包括:通过深度学习算法,得到深度学习模型;对第一计算进程进行特征提取,以得到第一特征数据;根据深度学习模型和第一特征数据,对第一计算进程进行资源拟合映射。本发明通过深度学习算法,得到深度学习模型,随后对第一计算进程进行特征提取,以得到第一特征数据,最后根据深度学习模型和第一特征数据,对第一计算进程进行资源拟合映射,从而运用深度学习技术在线干预计算进程拟合映射到资源的过程,使原有的以占用计算资源为唯一目的的进程调度系统,优化成可以智能化自动感知计算进程复杂度,实现计算进程到计算资源的拟合映射,实现对计算过程的高效处理。

    气象业务信息的处理方法和装置

    公开(公告)号:CN102436540B

    公开(公告)日:2014-09-10

    申请号:CN201110262499.X

    申请日:2011-09-06

    IPC分类号: G06F19/00

    摘要: 本发明公开了一种气象业务信息的处理方法和装置,其中,该方法包括:在获取了气象信息之后,对气象信息进行解析,得到对应于指定地点的期望气象信息;确定期望气象信息对应的时间区间,根据确定的时间区间对气象业务信息的处理装置的时间参数进行修改;气象业务信息的处理装置根据修改后的时间参数对期望气象信息进行预定处理,得到对应于时间区间的预定显示形式的期望气象信息。本发明通过获取指定地点的解析得到相应气象信息的时间区间,并以此修改进行气象分析时所采用的时间参数,能够自动地完成相关配置文件的修改,节省了处理的时间,避免了错误的发生,提高了气象信息处理的效率和准确度。

    深度学习模型的分布式训练方法、装置、设备及存储介质

    公开(公告)号:CN113610241A

    公开(公告)日:2021-11-05

    申请号:CN202110884863.X

    申请日:2021-08-03

    发明人: 田丽红 胡辰 许涛

    IPC分类号: G06N20/00

    摘要: 本发明实施例公开了一种深度学习模型的分布式训练方法、装置、设备及存储介质。该方法包括:获取目标深度学习模型的TensorFlow训练代码;确定所述TensorFlow训练代码的目标逻辑及封装类型;根据与所述目标逻辑及封装类型匹配的处理策略对所述TensorFlow训练代码进行调整;运行调整后的TensorFlow训练代码,以实现对所述目标深度学习模型的Horovod分布式训练。上述技术方案在Tensorflow代码背景下,自动实现深度学习模型的Horovod分布式训练计算的技术效果。