-
公开(公告)号：CN107122248B
公开(公告)日：2020-01-21
申请号：CN201710301095.4
申请日：2017-05-02
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于存储优化的分布式图处理方法，属于图计算领域。本发明包括：数据预处理阶段进行数据划分；分发图分区数据；开始数据迭代处理；更新消息传递；工作节点扩展决策；数据处理结束。本发明提出使用一致性哈希算法对图数据进行分区和存储，并设计实现了基于外存模式的分布式图处理系统，利用动态存储优化的策略，根据负载调整图的分区存储，实现图数据处理负载平衡，加快图数据处理速度，解决现有技术存在的负载不平衡，在图数据处理过程中造成热点而引起的总体性能下降问题，从而提高图处理的性能。
-
公开(公告)号：CN106095552B
公开(公告)日：2019-06-28
申请号：CN201610399043.0
申请日：2016-06-07
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于I/O去重的多任务图处理方法及其系统，属于计算机存储领域。该方法采用专用I/O线程通过异步方式从外存中读取图数据，并加载到内存的共享缓冲区；并行执行图处理任务，在任务执行过程中从共享缓冲区访问图数据。本发明通过提供统一访问外存图数据的方法实现了I/O重用，通过共享缓存的设计协调了并行任务的执行速度，解决了当前外存模式图处理系统在处理并发多任务时，请求图数据出现I/O冲突和数据重复的问题，优化了并行任务的数据等待时间。
-
公开(公告)号：CN109508234A
公开(公告)日：2019-03-22
申请号：CN201811053421.5
申请日：2018-09-11
Applicant: 华中科技大学
IPC: G06F9/50
Abstract: 本发明公开了一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统，其中，该方法包括：图数据的分区；条带深度的确定；边块文件的条带化。本发明提出的匹配顺序大I/O负载特征的粗粒度条带化方法，将经过图分区处理后的所有边块文件，以匹配图数据访问特征的粗粒度条带深度，按照更新顺序条带化到一对一存储在多个外存设备的多个条带化文件中，在应用层实现图数据的多盘粗粒度条带化分布。本发明能保证每盘的顺序访问和减少设备I/O次数进而有效提高每个盘的I/O吞吐量，并为实现应用层高效I/O管理和发挥多盘并行I/O能力提供基础。
-
公开(公告)号：CN108900334A
公开(公告)日：2018-11-27
申请号：CN201810678846.9
申请日：2018-06-27
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于ILP模型的副本选择节点在网络设备上的布局方法，其面向位于数据中心中的分布式键值存储系统，其中，数据中心使用基于树结构的多层网络拓扑，包括：按照键值存储请求的来源，将请求划分成不同的流量组；在各机架顶部交换机的出口采集各流量组的流量统计信息；根据所述流量统计信息，求解ILP模型得到副本选择节点在网络中的布局。本发明通过将键值存储系统的请求划分到不同的流量组，确定布局问题的优化目标和限制条件，形式化布局问题为线性整数规划模型问题，该方法可有效降低副本选择时“羊群效应”的发生，让每个副本选择节点可根据更加新近的系统状态选择副本，从而提高副本选择效率，降低分布式键值存储系统的响应延时。
-
公开(公告)号：CN104915427B
公开(公告)日：2018-01-05
申请号：CN201510326328.7
申请日：2015-06-15
Applicant: 华中科技大学
IPC: G06F17/30
Abstract: 本发明公开了一种基于广度优先遍历(BFS,Breadth First Search)的图处理优化方法,属于计算机存储及数据处理技术领域，解决现有基于外部存储器的大规模图处理系统在访问图数据时产生大量外存I/O，严重影响文件缓存命中率，削弱I/O性能的问题，从而提高图处理系统的效率。本发明在不改变图处理模型和用户操作复杂度的前提下，以充分利用外存储设备顺序I/O性能和提高系统文件缓存命中率为目标，提出了针对图遍历类型应用进行I/O优化的BFS树数据布局方案。通过对不同来源、类型、尺寸的图数据集进行数据布局优化，图处理系统的效率有明显提升。
-
Patent Agency Ranking
公开(公告)号：CN104461781B
公开(公告)日：2017-10-31
申请号：CN201410717059.2
申请日：2014-12-01
Applicant: 华中科技大学
IPC: G06F11/14
Abstract: 一种基于纠删码的数据块重建方法，属于计算机存储技术领域，解决现有数据块修复方法需要传输大量数据的问题，以减少重建数据的传输量。本发明包括数据分块步骤、构造生成矩阵G步骤、生成校验块步骤、检查数据块状态步骤、构造修复矩阵步骤和修复数据块步骤。本发明将原始文件分为k个数据块，将每个数据块继续等分为r个数据片；k个数据块编码为m个校验块，每个校验块也包含r个校验片。重建任意一个数据块时，从剩余的每个数据块的r个数据片和校验块的r个校验片中取r/m片(该方法保证r被m整除)，从而重建一个数据块只需要总量(m+k‑1)r/m的数据片，相对里德‑所罗门编码重建一个数据块的数据量，有了明显的减少。
-
公开(公告)号：CN107122248A
公开(公告)日：2017-09-01
申请号：CN201710301095.4
申请日：2017-05-02
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于存储优化的分布式图处理方法，属于图计算领域。本发明包括：数据预处理阶段进行数据划分；分发图分区数据；开始数据迭代处理；更新消息传递；工作节点扩展决策；数据处理结束。本发明提出使用一致性哈希算法对图数据进行分区和存储，并设计实现了基于外存模式的分布式图处理系统，利用动态存储优化的策略，根据负载调整图的分区存储，实现图数据处理负载平衡，加快图数据处理速度，解决现有技术存在的负载不平衡，在图数据处理过程中造成热点而引起的总体性能下降问题，从而提高图处理的性能。
-
公开(公告)号：CN106095552A
公开(公告)日：2016-11-09
申请号：CN201610399043.0
申请日：2016-06-07
Applicant: 华中科技大学
CPC classification number: G06F9/4806 , G06F16/51
Abstract: 本发明公开了一种基于I/O去重的多任务图处理方法及其系统，属于计算机存储领域。该方法采用专用I/O线程通过异步方式从外存中读取图数据，并加载到内存的共享缓冲区；并行执行图处理任务，在任务执行过程中从共享缓冲区访问图数据。本发明通过提供统一访问外存图数据的方法实现了I/O重用，通过共享缓存的设计协调了并行任务的执行速度，解决了当前外存模式图处理系统在处理并发多任务时，请求图数据出现I/O冲突和数据重复的问题，优化了并行任务的数据等待时间。
-
公开(公告)号：CN103780622B
公开(公告)日：2016-09-28
申请号：CN201410034878.7
申请日：2014-01-24
Applicant: 华中科技大学
Abstract: 一种面向云存储的数据分类加密方法，属于计算机存储安全领域，解决现有数据加密方法不识别数据内容，对所有数据采用单一加密算法，导致存在的计算量大，效率低下的问题。本发明顺序包括：(1)构建安全特征库步骤、(2)数据分类步骤、(3)数据按类加密步骤和(4)数据存储步骤。本发明只对涉及隐私需要高安全保护的那部分数据采用高安全性的加密算法，而对于占大部分的一般数据采用安全性较低、计算复杂度较低的加密算法，在对隐私数据进行高安全性保护的同时，降低了加密的计算量，提高了效率。
-
公开(公告)号：CN105005586A
公开(公告)日：2015-10-28
申请号：CN201510354896.8
申请日：2015-06-24
Applicant: 华中科技大学
IPC: G06F17/30
CPC classification number: G06F16/51
Abstract: 本发明属于流式图数据抽样领域，尤其涉及一种度特征替换策略的抽样方法。包括：S1.流式边e＝(u,v)到达，判断是否会产生点替换，如果会发生点替换，则执行S2，否则执行S7；S2.根据抽样子图Gs中点的度特性，确定点替换概率函数f(di)，di∈D，D为子图中点的度分布集合；根据概率函数计算点vi被替换的概率得到子图中点替换概率集合S3.采用遗传算法中的选择算法select(P)，其中P为S2中计算得到的点替换概率集合，选取待替换的点r；S4.根据替换原则，判断S3选择的点r是否符合要求，若符合则转至S5；否则转至S3；S5.从Vs中删除r，从Es中删除与r相关联的边；S6.从Vs中删除独立点；S7.把新增点和边e加入子图Gs中。本发明方法得到的抽样子图与原图的特性相似度高。
-
-
-
-
-
-
-
-
-
Search Results
117
records
(took 0.029 seconds)
