-
公开(公告)号：CN118796274A
公开(公告)日：2024-10-18
申请号：CN202410777853.X
申请日：2024-06-17
申请人： 上海交通大学
IPC分类号： G06F9/38 , G06F12/0862
摘要： 本发明涉及计算机技术领域，尤其涉及一种数据预取方法及可读存储介质，方法包括：S100、当检测到CPU对缓存的加载访问时，若加载访问所请求的数据地址所属的区域在累积表中未被追踪，跳转S200；S200、检查区域是否已经在过滤表中记录过，若是，则跳转S300；S300、检查加载访问所请求的数据地址的偏移和过滤表中记录的偏移是否一致，若不一致，则跳转S400；S400、在模式历史表中，基于加载访问所请求的数据地址的偏移和过滤表中记录的偏移进行查找，形成第一预取模式并发送到预取缓冲区。通过额外观察对区域的后续访问，能够消除大量的错误预测和过度预测，从而大幅提升了数据预取的准确率，降低了额外带宽消耗。
-
公开(公告)号：CN115904796A
公开(公告)日：2023-04-04
申请号：CN202211667277.0
申请日：2022-12-23
申请人： 上海交通大学
IPC分类号： G06F11/10
摘要： 本发明提供了一种长链纠删码的编解码方法、系统及可读存储介质，方法包括以下步骤：S1、通过量化方式来最小化单错误跨机柜恢复代价，选择合适的数据分组策略和数据放置策略，确定编码参数；S2、对三维编码的每一维依次进行编码；S3、利用解码算法对数据进行恢复，优先使用低维编码进行校验恢复，恢复失败再调用高维编码对每一维进行校验恢复。本发明通过对单错误跨机柜恢复代价作量化分析，基于分析结果进行机柜级别的条带放置，使条带横跨更少的机柜；同时在长链纠删码的解码阶段，优先使用低维编码进行校验恢复，恢复失败再调用高维编码，充分考虑网络拓扑，尽可能降低跨机柜恢复代价，进而提高恢复性能。
-
公开(公告)号：CN115826873A
公开(公告)日：2023-03-21
申请号：CN202211700616.0
申请日：2022-12-28
申请人： 上海交通大学
摘要： 本发明提供了一种基于图的纠删码快速恢复方法、系统及可读存储介质，方法包括以下步骤：S1、通过量化的方法收集系统参数以及各个节点的实时负载信息；S2、构建两个图模型，两个图模型分别对应恢复任务中源节点的选择和解码节点的选择；S3、使用最大流算法得到一个各个节点的可用带宽刚好被占满的最优解，即恢复调度方案；S4、根据恢复调度方案将各个恢复任务从选定的源节点发送给对应的解码节点进行数据块的读取，然后在解码节点上解码恢复完成后将数据写入系统设定的目标节点上。通过将各个节点的可用带宽放入图模型中进行调度，并基于最大流算法保证各个节点的任务调度不会超过其可用带宽，实现了更高维度的负载均衡，避免出现拥塞堵塞现象。
-
公开(公告)号：CN118349171A
公开(公告)日：2024-07-16
申请号：CN202410427750.0
申请日：2024-04-10
申请人： 上海交通大学
IPC分类号： G06F3/06
摘要： 本发明涉及存储技术领域，尤其涉及一种条带合并方法、系统及可读存储介质，方法包括：将合并前条带的编码矩阵的每一行看作一个分块，构造具有分块对称特征的合并后条带的编码矩阵；基于所述合并后条带的编码矩阵，利用陪集分解理论来构造柯西矩阵生成集中的X和Y，得到柯西编码矩阵；利用所述柯西编码矩阵对条带进行合并，计算得到所述合并后条带的校验块。通过将合并前条带的编码矩阵的每一行看作一个分块，那么合并后条带的编码矩阵则是以合并前条带的编码矩阵的分块构成的一个分块对称矩阵，在这种特征下，条带合并时计算新校验块的过程就可以复用合并前条带的旧校验块，进而减少计算开销。然后再基于所述合并后条带的编码矩阵，使用陪集分解理论来构造柯西矩阵生成集中的X和Y，使得到的柯西编码矩阵在满足柯西矩阵性质的同时具有分块对称的特征，以便于实现窄条带纠删码的友好合并。
-
公开(公告)号：CN116166192A
公开(公告)日：2023-05-26
申请号：CN202310013094.5
申请日：2023-01-05
申请人： 上海交通大学
摘要： 本发明公开了一种基于纠删码的自适应编码存储方法、装置、可读存储介质，首先将系统中各个节点按照过往表现情况分类为诚实节点、风险节点以及恶意节点，利用RS(n‑f‑k，f+k)码对区块进行编码，将区块头、校验值与各个片段分别组装起来，存储到所述诚实节点和所述风险节点中。使用拜占庭容错协议将所有的所述片段分发到所述诚实节点和所述风险节点上去，并在所述诚实节点和所述风险节点之间达成共识。利用本申请的方案可以有效获取系统中的恶意节点数量，且相比于全副本的存储方式，本申请的方案降低了97.5％的存储开销。相比于基于静态纠删码的存储方式，本申请的方案降低了23.8％的存储开销的同时，降低了25.4％的写入时间延迟并提高了45.6％的写入吞吐量。
-
公开(公告)号：CN116009782A
公开(公告)日：2023-04-25
申请号：CN202211710238.4
申请日：2022-12-29
申请人： 上海交通大学
IPC分类号： G06F3/06 , G06F16/901
摘要： 本发明提供了一种基于图的跨机柜更新方法、系统及可读存储介质，方法包括以下步骤：S1、构建关系图辅助数据放置，其中，在关系图中，点表示数据块，边表示数据块之间的关联，点权表示数据块的访问热度，边权表示两个数据块之间的关联程度；S2、在关系图中找到一组数据块，使这组数据块内部的边权之和达到最大并组织为条带；S3、将条带中相关性最强的一组数据块放在同一个机柜中，并保证各个机柜点权之间的差异最小；S4、构建并行树，在并行树中，节点代表机柜，边代表机柜之间的网络链路。本发明通过用关系图辅助数据放置，能够减少I/O操作次数和跨机柜传输量。并且，通过构造并行树选择最近的网络传输路径，减少了网络传输延时。
-
公开(公告)号：CN115878370A
公开(公告)日：2023-03-31
申请号：CN202211710219.1
申请日：2022-12-29
申请人： 上海交通大学
IPC分类号： G06F11/10 , G06N3/0464 , G06N3/08
摘要： 本发明提供了一种分布式深度学习的数据恢复方法、系统及可读存储介质，方法包括以下步骤：S1、收集神经网络模型进行训练的参数信息，并利用纠删码获得待恢复数据分布的全局信息；S2、利用人工智能来计算各类别训练数据恢复的优先级，对待恢复的数据所处的条带进行排序；S3、将计算得到的数据恢复优先级和待恢复数据分布的全局信息进行组合，构造并行的恢复方案。本发明通过人工智能为要恢复的数据建立加权优先级，并结合纠删码获得的数据块分布的全局信息来构建并行恢复方案，将纠删码获取数据全局信息的能力与人工智能恢复部分丢失数据的能力结合起来，在可接受的训练精度下大幅降低了资源消耗，加速了云存储系统中分布式深度学习的数据重建。
-
-
-
-
-
-
搜索结果
7 条记录 (耗时 0.023 秒)
