公开(公告)号：CN118939381A

公开(公告)日：2024-11-12

申请号：CN202411115650.0

申请日：2024-08-14

申请人： 河南大学

发明人： 于俊洋 ,  王丹 ,  刘经晗 ,  刘曦泽 ,  王霆宇 ,  王聪洋 ,  张琰浩 ,  王志诚 ,  李涵 ,  翟锐 ,  宋亚林

IPC分类号： G06F9/455 ,  G06F9/50

摘要： 本发明公开云计算平台中基于高效能源意识和服务质量改进的虚拟机放置策略，包括：输入物理机列表和待迁移的虚拟机列表；循环遍历待迁移的虚拟机列表，对每一个待迁移虚拟机循环遍历物理机列表，判断物理机的CPU、内存和带宽资源是否能满足虚拟机的资源请求，且物理机目前和虚拟机部署后是否都不会过载，如是则执行下一步；计算物理机的能效指标；分别计算虚拟机部署后物理机的内部资源利用平衡偏差指标、安全系数指标和CPU资源利用波动系数指标，标准化处理后计算综合得分；基于得出的物理机的能效指标及所述综合得分选择物理机作为待迁移虚拟机的目标物理机。本发明在降低能耗的同时减少了服务水平协议违反，保证了云数据中心的服务质量。

公开(公告)号：CN118860597A

公开(公告)日：2024-10-29

申请号：CN202410885572.6

申请日：2024-07-02

申请人： 河南大学

发明人： 王聪洋 ,  于俊洋 ,  张琰浩 ,  殷向 ,  翟瑞 ,  王丹

IPC分类号： G06F9/48 ,  G06F9/50

摘要： 本发明提供一种基于配置和聚合感知的Spark动态排序优化策略。该方法包括：步骤1：获取待处理任务的任务信息、对应的集群端配置信息和Driver端配置信息；其中，所述任务信息包括任务数据量和任务个数；步骤2：根据任务信息、集群端配置信息和Driver端配置信息分别确定在集群端对待处理任务拟执行排序算子所需的时间Ct以及Driver端拟获取待处理任务的数据传输时间Dt1和在Driver端对待处理任务拟执行排序算子所需的时间Dt2；步骤3：若Dt小于Ct，则将待处理任务直接分配至Driver端执行排序算子；其中，Dt为Dt1和Dt2之和。本发明能够减少集群负担，解决排序算子对数据处理先集群后Driver端导致的资源争用的问题。

公开(公告)号：CN118860592A

公开(公告)日：2024-10-29

申请号：CN202410870802.1

申请日：2024-07-01

申请人： 河南大学

发明人： 张琰浩 ,  何欣 ,  王聪洋 ,  于俊洋 ,  王丹 ,  翟瑞 ,  宋亚林 ,  殷向

IPC分类号： G06F9/48 ,  G06F9/50 ,  H04L67/1008 ,  H04L67/101 ,  H04L67/61 ,  G06F3/06

摘要： 本发明公开了一种基于延迟的Spark任务资源交错的调度策略，首先，考虑到最长完成时间的Stage会影响整个流水线作业的完成，按照历史数据中任务完成时间长短交错执行此阶段，来达到交错利用系统资源的目的。之后，将执行任务划分为CPU密集型和非CPU密集型(包括网络I/O和磁盘I/O)两个阶段，当非CPU密集型阶段任务进行数据获取时，将与其并行的任务在适当时间进行调度，来达到避免资源争用，减少作业完成时间的目的。最后，在Spark 2.4.0上实现了RPTS，并进行了大量的实验来评估性能。本发明以流水线的方式调度并行任务，提高了集群的资源利用率，进而最小化作业执行时间。