-
公开(公告)号：CN117370067B
公开(公告)日：2024-04-12
申请号：CN202311669991.8
申请日：2023-12-07
申请人： 融科联创(天津)信息技术有限公司 , 天津理工大学
摘要： 本发明提供了一种大规模对象存储系统的数据布局和编码方法，将对象文件大小逻辑上修改为偶数，并切分为一系列几何序列大小的数据块；将数据块分配到不同数据节点，并记录数据块的分布情况；对数据块执行奇偶校验编码，生成局部校验块和全局校验块；客户端执行Get命令，在相应的数据节点上读取数据，将数据合并为原有对象文件；若数据块所在节点存在故障，则通过局部校验块恢复后发送给客户端；当无法通过局部校验块恢复时通过全局校验块恢复。本发明有益效果：避免混合编码带来的额外开销，充分发挥再生码的高恢复性能，在降级读取时具有更低的修复成本，降低了降级读取延迟并提升了恢复效率。
-
公开(公告)号：CN118349188A
公开(公告)日：2024-07-16
申请号：CN202410765977.6
申请日：2024-06-14
申请人： 天津理工大学 , 融科联创(天津)信息技术有限公司
IPC分类号： G06F3/06 , H04L67/1097
摘要： 本发明提供了一种基于非易失性存储的编码数据快速更新方法，包括：客户端向元数据服务器发送读、写请求；元数据服务器管理元数据，并回应客户端发送的读、写请求；当元数据服务器出现故障时，备份服务器快速接替元数据服务器工作；数据对象经过纠删编码形成数据块和校验块。当小写更新发生时，数据节点存储数据块，数据块采用就地更新的方式更新；日志节点存储校验块，校验块采用追加日志的方式更新。本发明有益效果：减少了数据块的先读后写操作，实现了低存储开销和快速更新，提升系统存储性能，降低了磁盘的I/O影响。
-
公开(公告)号：CN118193542A
公开(公告)日：2024-06-14
申请号：CN202410599057.1
申请日：2024-05-15
申请人： 天津理工大学 , 融科联创(天津)信息技术有限公司
IPC分类号： G06F16/22 , G06F16/21 , G06F16/23 , G06F16/2458
摘要： 本申请提供了一种面向边缘时序数据存储的时变跳表索引系统及方法，涉及数据处理技术领域，按时间顺序划分的多个时间分区，每个时间分区包括对应时间段存储的数据集合。每个所述时间分区包括由多层索引节点链表的索引层和用于存储数据的数据节点单链表构成的子跳表；所述索引节点链表中的索引节点包括指向不同层的索引节点的索引指针和指向所述数据节点单链表中对应数据节点的第一数据指针，数据节点单链表中的数据节点包括指向所述数据节点的相邻的下一个数据节点的第二数据指针。每个分区对应形成一个独立的子跳表，可以从每个分区的头结点指针处开始遍历，如此能够，降低数据查询和数据处理的资源消耗，提高数据查询效率和数据处理效率。
-
公开(公告)号：CN117370067A
公开(公告)日：2024-01-09
申请号：CN202311669991.8
申请日：2023-12-07
申请人： 融科联创(天津)信息技术有限公司 , 天津理工大学
摘要： 本发明提供了一种大规模对象存储系统的数据布局和编码方法，将对象文件大小逻辑上修改为偶数，并切分为一系列几何序列大小的数据块；将数据块分配到不同数据节点，并记录数据块的分布情况；对数据块执行奇偶校验编码，生成局部校验块和全局校验块；客户端执行Get命令，在相应的数据节点上读取数据，将数据合并为原有对象文件；若数据块所在节点存在故障，则通过局部校验块恢复后发送给客户端；当无法通过局部校验块恢复时通过全局校验块恢复。本发明有益效果：避免混合编码带来的额外开销，充分发挥再生码的高恢复性能，在降级读取时具有更低的修复成本，降低了降级读取延迟并提升了恢复效率。
-
公开(公告)号：CN118656352A
公开(公告)日：2024-09-17
申请号：CN202411132439.X
申请日：2024-08-19
申请人： 天津理工大学
摘要： 本发明提供了一种基于文件分组和镜像流行度的数据删除重组方法，包括如下步骤：查找并清除镜像文件中重复的数据文件；通过预设的分组策略对数据文件进行划分，得到多个文件组；使用每个镜像文件的流行度选择对应的层重组模式，并结合预设的选择策略对所述文件组执行分层操作，完成层重组；其中，执行所述分层操作的过程中，计算对所述文件组进行分层后的每个层中的开销，选取开销最小的层作为所述文件组的放置层。本发明有益效果：避免了层重组导致的层乱序问题,解决了层重组的时间开销过大的问题。
-
公开(公告)号：CN118656273A
公开(公告)日：2024-09-17
申请号：CN202411153731.X
申请日：2024-08-21
IPC分类号： G06F11/30 , G06F3/06 , G06N20/00 , G06F16/215 , G06F18/15
摘要： 本发明提供了面向低质量数据集的硬盘故障预测及数据迁移方法，包括：获取硬盘的SMART信息得到信息集，对信息集进行正负样本重建，并将丢失数据的信息集作为原始数据集；对原始数据集进行无用数据清理操作并进行欠采样处理；对原始数据集进行缺失值填充，将缺失值填充后的原始数据集转化为时间序列数据；构建并训练预测模型，将时间序列数据及对应的ASFD特征输入预测模型中得到硬盘故障的预测结果；根据预测结果识别濒临故障的硬盘，并基于二部图最大匹配策略和修复调度策略完成对濒临故障硬盘数据的修复。本发明有益效果：在低质量硬盘SMART的情况下，达到较高的硬盘故障预测准确率，并且能够提前对濒临故障硬盘的数据进行主动迁移和修复。
-
公开(公告)号：CN117632018A
公开(公告)日：2024-03-01
申请号：CN202311616129.0
申请日：2023-11-30
申请人： 天津理工大学 , 中兴通讯股份有限公司
IPC分类号： G06F3/06
摘要： 本发明公开了一种持久内存和闪存混合的存储系统及写数据方法，闪存最小读写单位即闪存页大小用P标识，擦除块大小用B标识，所述写数据方法具体包括以下步骤：步骤一、对于写入数据小于闪存页大小P的情况，将数据直接写入持久内存中；步骤二、对于写入数据的长度大于闪存页大小P，且小于擦除块大小B，即P≤写入数据≤B的情况，如果此时持久内存的空闲空间小于阈值T1，那么数据写入持久内存，否则写入闪存；步骤三、对于写入数据大于擦除块大小B的情况，那么数据按照顺序写入闪存中，这种方式能够减少闪存的擦除。本发明将持久内存和闪存配合使用，并根据写入数据的大小优化了数据放置策略，以达到优化闪存寿命和提升性能的效果。
-
-
-
-
-
-
搜索结果
7 条记录 (耗时 0.045 秒)