-
公开(公告)号：CN109522102B
公开(公告)日：2022-12-02
申请号：CN201811053424.9
申请日：2018-09-11
Applicant: 华中科技大学
IPC: G06F9/48
Abstract: 本发明公开了一种基于I/O调度的多任务外存模式图处理方法，包括：将图数据进行流式分区得到图分区，将图分区均衡地置于多个外存设备中，基于I/O调度从多个外存设备中选取目标外存设备，并将目标外存设备中图处理任务尚未访问的图分区作为指定分区；根据指定分区的同步字段判断其是否未被映射到内存中，若是，则将指定分区从外存设备映射到内存中，并更新指定分区的同步字段；否则，直接通过指定分区映射到内存的地址信息进行图分区数据的访问。本发明通过I/O调度，选择任务数最少的外存设备访问，以此控制访问外存图分区数据的顺序，平衡I/O压力；通过设置同步字段实现图分区数据的共享，减少相同图分区的重复加载，以此减少I/O总带宽量，提升I/O效率。
-
公开(公告)号：CN106100921A
公开(公告)日：2016-11-09
申请号：CN201610406969.8
申请日：2016-06-08
Applicant: 华中科技大学
Abstract: 本发明提供一种基于点信息同步的动态流式图并行抽样方法，具体为：S1.流式边到达滑动窗口，判断窗口是否满，如果不满则执行S1，否则执行S2；S2.将滑动窗口中的边按序随机分配给多个抽样器；S3.多个抽样器对被分配的边并行处理得到抽样子图；S4.读取抽样器的点集，去除重复的点，刷新全局点集合；S5.更新全局点推导的边集；S6.调整抽样目标点集数量；S7.如果未到设定的采集抽样子图时间点，更新滑动窗口，返回S1；否则执行S8；S8.根据每个抽样器的抽样结果合成抽样子图。本发明在快速获得抽样子图的同时，保证抽样子图与原图的特性相似度高，解决了动态流式图串行抽样算法处理时间长、不能满足实时性要求的问题。
-
公开(公告)号：CN106202431B
公开(公告)日：2019-06-28
申请号：CN201610550098.7
申请日：2016-07-13
Applicant: 华中科技大学
IPC: G06F16/21 , G06F16/28 , G06F16/2458
Abstract: 本发明属于大数据处理技术领域，涉及一种基于机器学习的Hadoop参数的自动调优方法及系统。本发明根据不同应用程序的资源消耗特征聚类分组，并针对不同组应用建立不同的性能模型，自动得到对不同类应用影响较大的不同参数，并给出定量参数建议值。系统包括离线模块和在线模块，离线模块包括Hadoop数据收集器、聚类器和性能模型构建子模块；在线模块包括作业管理器、优化器、资源消耗特征匹配器和作业探查器。本发明有效解决了现有的基于经验规律的方法对用户经验的高依赖问题和定性参数建议的限制问题；同时本发明将参数优化系统和Hadoop系统分离，降低系统耦合度，减少人工开销，避免人为误判，并且便于系统扩展与维护。
-
Patent Agency Ranking
公开(公告)号：CN109522102A
公开(公告)日：2019-03-26
申请号：CN201811053424.9
申请日：2018-09-11
Applicant: 华中科技大学
IPC: G06F9/48
Abstract: 本发明公开了一种基于I/O调度的多任务外存模式图处理方法，包括：将图数据进行流式分区得到图分区，将图分区均衡地置于多个外存设备中，基于I/O调度从多个外存设备中选取目标外存设备，并将目标外存设备中图处理任务尚未访问的图分区作为指定分区；根据指定分区的同步字段判断其是否未被映射到内存中，若是，则将指定分区从外存设备映射到内存中，并更新指定分区的同步字段；否则，直接通过指定分区映射到内存的地址信息进行图分区数据的访问。本发明通过I/O调度，选择任务数最少的外存设备访问，以此控制访问外存图分区数据的顺序，平衡I/O压力；通过设置同步字段实现图分区数据的共享，减少相同图分区的重复加载，以此减少I/O总带宽量，提升I/O效率。
-
公开(公告)号：CN106202431A
公开(公告)日：2016-12-07
申请号：CN201610550098.7
申请日：2016-07-13
Applicant: 华中科技大学
IPC: G06F17/30
CPC classification number: G06F16/2471 , G06F16/217 , G06F16/285
Abstract: 本发明属于大数据处理技术领域，涉及一种基于机器学习的Hadoop参数的自动调优方法及系统。本发明根据不同应用程序的资源消耗特征聚类分组，并针对不同组应用建立不同的性能模型，自动得到对不同类应用影响较大的不同参数，并给出定量参数建议值。系统包括离线模块和在线模块，离线模块包括Hadoop数据收集器、聚类器和性能模型构建子模块；在线模块包括作业管理器、优化器、资源消耗特征匹配器和作业探查器。本发明有效解决了现有的基于经验规律的方法对用户经验的高依赖问题和定性参数建议的限制问题；同时本发明将参数优化系统和Hadoop系统分离，降低系统耦合度，减少人工开销，避免人为误判，并且便于系统扩展与维护。
-
公开(公告)号：CN106100921B
公开(公告)日：2020-06-02
申请号：CN201610406969.8
申请日：2016-06-08
Applicant: 华中科技大学
Abstract: 本发明提供一种基于点信息同步的动态流式图并行抽样方法，具体为：S1.流式边到达滑动窗口，判断窗口是否满，如果不满则执行S1，否则执行S2；S2.将滑动窗口中的边按序随机分配给多个抽样器；S3.多个抽样器对被分配的边并行处理得到抽样子图；S4.读取抽样器的点集，去除重复的点，刷新全局点集合；S5.更新全局点推导的边集；S6.调整抽样目标点集数量；S7.如果未到设定的采集抽样子图时间点，更新滑动窗口，返回S1；否则执行S8；S8.根据每个抽样器的抽样结果合成抽样子图。本发明在快速获得抽样子图的同时，保证抽样子图与原图的特性相似度高，解决了动态流式图串行抽样算法处理时间长、不能满足实时性要求的问题。
-
公开(公告)号：CN106095552B
公开(公告)日：2019-06-28
申请号：CN201610399043.0
申请日：2016-06-07
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于I/O去重的多任务图处理方法及其系统，属于计算机存储领域。该方法采用专用I/O线程通过异步方式从外存中读取图数据，并加载到内存的共享缓冲区；并行执行图处理任务，在任务执行过程中从共享缓冲区访问图数据。本发明通过提供统一访问外存图数据的方法实现了I/O重用，通过共享缓存的设计协调了并行任务的执行速度，解决了当前外存模式图处理系统在处理并发多任务时，请求图数据出现I/O冲突和数据重复的问题，优化了并行任务的数据等待时间。
-
公开(公告)号：CN106095552A
公开(公告)日：2016-11-09
申请号：CN201610399043.0
申请日：2016-06-07
Applicant: 华中科技大学
CPC classification number: G06F9/4806 , G06F16/51
Abstract: 本发明公开了一种基于I/O去重的多任务图处理方法及其系统，属于计算机存储领域。该方法采用专用I/O线程通过异步方式从外存中读取图数据，并加载到内存的共享缓冲区；并行执行图处理任务，在任务执行过程中从共享缓冲区访问图数据。本发明通过提供统一访问外存图数据的方法实现了I/O重用，通过共享缓存的设计协调了并行任务的执行速度，解决了当前外存模式图处理系统在处理并发多任务时，请求图数据出现I/O冲突和数据重复的问题，优化了并行任务的数据等待时间。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.014 seconds)
