一种基于MPI的分布式共轭梯度法的调优计算方法

    公开(公告)号:CN102110079A

    公开(公告)日:2011-06-29

    申请号:CN201110053792.5

    申请日:2011-03-07

    Abstract: 本发明涉及一种基于MPI的分布式共轭梯度法的调优计算方法。传统的串行计算方法的演算流程不能有效地利用多核平台的优势。本发明当有新的节点加入计算集群时,采用预调优算法确定该节点的计算线程数并得到适用于集群计算的最优矩阵分块大小;将矩阵数据结构按最优分块大小,转换为分块压缩结构;在计算任务执行之前,根据各个节点的预调优数据为每个节点的线程分配计算量;当共轭梯度法演算流程执行矩阵与向量乘时,利用MPI自动将计算任务分配到集群中的计算节点,当计算完成后将结果主动归约到主节点。本发明采用高度压缩及灵活方便的BCSR结构针对稀疏矩阵进行分块处理,降低了计算时间复杂度中的常数,节省了存储空间。

    一种提升系统整体吞吐量的CPU资源动态分配方法

    公开(公告)号:CN114153612B

    公开(公告)日:2025-05-13

    申请号:CN202111483344.9

    申请日:2021-12-07

    Abstract: 本发明涉及一种提升系统整体吞吐量的CPU资源动态分配方法。本发明中的进程CPU资源需求感知模块能对进程的CPU资源需求进行实时测量,量化进程运行时对CPU资源的消耗。CPU资源划分模块能依据系统中的就绪进程对CPU的需求不同在进程组内以及进程组间进行合理的CPU资源分配,保证CPU需求较高的进程获得更高优先级的处理。在系统运行的各个时刻实时探测到当前时刻系统的就绪进程信息,准备下一阶段的调整以适用进程的运行的各个时刻的CPU资源合理分配,在保证实时性的前提下提高系统的整体吞吐量。

    一种基于强化学习的边缘计算工作负载调度方法

    公开(公告)号:CN112948112B

    公开(公告)日:2024-07-09

    申请号:CN202110223078.X

    申请日:2021-02-26

    Abstract: 本发明涉及一种基于强化学习的边缘计算工作负载调度方法,本发明首先从影响边缘计算工作负载调度众多因素中选定关键指标来表示状态属性。对所有关键指标按照低、中和高三个等级的进行量化,并构建状态空间,保证每个状态的唯一性。根据每个状态来选择动作,即调度至哪个服务器执行。构建奖惩函数,用于反映选定行为的执行效果。将状态空间和动作空间整合形成Q值表,在每个调度选择动作决策的过程中,智能体使用策略来选择动作,并且通过不断更新Q值表,从而更快地向最优方向收敛,加快收敛速度,使得其Q值不断朝着最优方向逼近。通过本发明可有效均衡边缘服务器工作负载,减少任务服务时间和失败率,从而优化服务质量和提高资源效率。

    一种基于混合深度神经网络模型的互联网广告推荐方法

    公开(公告)号:CN112053188B

    公开(公告)日:2024-01-16

    申请号:CN202010862465.3

    申请日:2020-08-25

    Abstract: 本发明公开了一种基于混合深度神经网络模型的互联网广告推荐方法。本发明从基于深度学习用于广告点击率预估的模型出发,在DeepFM网络提供特征自动组合的基础上,利用RNN模型从用户历史点击行为记录中精准建模用户的兴趣,提高了广告点击率的预估性能;模型不需要超大规模的广告ID作为输入,降低了对现有广告系统的数据要求,也降低了模型的过拟合风险。本发明在应用到对用户兴趣刻画要求严格的互联网广告投放系统中,能提升广告的点击率,同时不影响模型的更新训练速度。

    一种基于实时流处理的边缘网关设备日志解析方法

    公开(公告)号:CN116582423A

    公开(公告)日:2023-08-11

    申请号:CN202310599727.5

    申请日:2023-05-23

    Abstract: 本发明公开了一种基于实时流处理的边缘网关设备日志解析方法。首先提出了基于日志产生速率的采样间隔自适应调整算法预测日志产生速率,以不同采样间隔实时收集日志,通过MQTT通讯协议将日志数据从边缘网关实时传输到分布式缓存队列。其次由日志解析程序监听缓存队列,实时读取日志并行处理。日志解析主要包括日志预处理和参数匹配,对解析得到的模板,剔除重复的模板,基于信息熵的后处理方式选择算法决定删除模板、保留模板还是重解析模板。最后使用相似度度量的方法融合模板,得到最终的解析结果。本发明从实时采集日志、实时传输日志、实时处理日志三个方面实现日志流的实时解析,并对日志模板进行两次调整,能够保证模板的质量和准确性。

    一种分布式机器学习任务GPU资源调度分配方法及系统

    公开(公告)号:CN114996001A

    公开(公告)日:2022-09-02

    申请号:CN202210562623.2

    申请日:2022-05-23

    Abstract: 本发明公开了一种分布式机器学习训练任务GPU资源调度分配方法及系统,方法包括:S1:为每个训练作业分配一个参数服务器和一个工作节点;S2:通过收集作业在不同参数服务器和工作节点数量组合下的训练速度,拟合训练速度模型;S3:采集训练作业的每次训练迭代的损失值,拟合作业的损失值迭代曲线,计算训练作业的剩余完成时间;S4:节点分配模块根据训练速度模型为每个作业分配合适的工作节点数量和参数服务器数量;S5:作业放置模块按照短作业优先策略,基于分布式通信时延和排队等候时间选择成本最低的放置策略;系统包括节点分配模块和作业放置模块。通过本发明可以达到降低集群训练作业平均完成时间的目标。

    基于组合神经网络的微服务资源分配方法

    公开(公告)号:CN114968563A

    公开(公告)日:2022-08-30

    申请号:CN202210526299.9

    申请日:2022-05-16

    Abstract: 本发明公开了一种基于组合神经网络的微服务资源分配方法。本发明基于组合神经网络识别微服务的依赖关系与云环境的动态特征,预测并定位引起性能违约的微服务,并锁定其受到限制的瓶颈资源,针对瓶颈资源进行资源的分配,以在减少性能违约的情况下尽可能提高数据中心的资源使用率。通过本发明提供的基于组合神经网络的微服务资源分配方法,可以很好地捕捉云环境中工作负载特征和性能干扰模式的剧烈变化,精准预测与定位即将引起性能违约的微服务,并对其瓶颈资源进行分配,在减少在线服务违约率的情况下尽可能提高资源的利用率。

Patent Agency Ranking