一种大规模对象存储系统的数据布局和编码方法

    公开(公告)号:CN117370067B

    公开(公告)日:2024-04-12

    申请号:CN202311669991.8

    申请日:2023-12-07

    IPC分类号: G06F11/10 G06F3/06 H03M13/37

    摘要: 本发明提供了一种大规模对象存储系统的数据布局和编码方法,将对象文件大小逻辑上修改为偶数,并切分为一系列几何序列大小的数据块;将数据块分配到不同数据节点,并记录数据块的分布情况;对数据块执行奇偶校验编码,生成局部校验块和全局校验块;客户端执行Get命令,在相应的数据节点上读取数据,将数据合并为原有对象文件;若数据块所在节点存在故障,则通过局部校验块恢复后发送给客户端;当无法通过局部校验块恢复时通过全局校验块恢复。本发明有益效果:避免混合编码带来的额外开销,充分发挥再生码的高恢复性能,在降级读取时具有更低的修复成本,降低了降级读取延迟并提升了恢复效率。

    一种具有多层级权限访问控制的数据检索方法及系统

    公开(公告)号:CN118094636B

    公开(公告)日:2024-07-30

    申请号:CN202410487690.1

    申请日:2024-04-23

    IPC分类号: G06F21/62 G06F21/60

    摘要: 本申请提供了一种具有多层级权限访问控制的数据检索方法及系统,涉及数据处理技术领域,响应于检索用户的关键字检索请求,基于关键字检索请求为不同域内的副本服务器生成不同的关键字密文矩阵,并将矩阵发送至对应的副本服务器进行私有信息检索,得到副本服务器反馈的查询结果;将得到的查询结果组装处理得到特征数据;结合访问策略、系统公钥和噪声加密封装特征数据,得到封装数据,并将封装数据发送给检索用户,以便最高访问层级的检索用户基于所拥有的属性和私钥解密封装数据得到精确地特征数据,其余访问层级的检索用户得到不同模糊度的数据或无法解密数据。如此能够,保证不同层级的用户无法得到自身属性不符合访问策略的结果。

    一种具有多层级权限访问控制的数据检索方法及系统

    公开(公告)号:CN118094636A

    公开(公告)日:2024-05-28

    申请号:CN202410487690.1

    申请日:2024-04-23

    IPC分类号: G06F21/62 G06F21/60

    摘要: 本申请提供了一种具有多层级权限访问控制的数据检索方法及系统,涉及数据处理技术领域,响应于检索用户的关键字检索请求,基于关键字检索请求为不同域内的副本服务器生成不同的关键字密文矩阵,并将矩阵发送至对应的副本服务器进行私有信息检索,得到副本服务器反馈的查询结果;将得到的查询结果组装处理得到特征数据;结合访问策略、系统公钥和噪声加密封装特征数据,得到封装数据,并将封装数据发送给检索用户,以便最高访问层级的检索用户基于所拥有的属性和私钥解密封装数据得到精确地特征数据,其余访问层级的检索用户得到不同模糊度的数据或无法解密数据。如此能够,保证不同层级的用户无法得到自身属性不符合访问策略的结果。

    一种基于非易失性存储的编码数据快速更新方法

    公开(公告)号:CN118349188A

    公开(公告)日:2024-07-16

    申请号:CN202410765977.6

    申请日:2024-06-14

    IPC分类号: G06F3/06 H04L67/1097

    摘要: 本发明提供了一种基于非易失性存储的编码数据快速更新方法,包括:客户端向元数据服务器发送读、写请求;元数据服务器管理元数据,并回应客户端发送的读、写请求;当元数据服务器出现故障时,备份服务器快速接替元数据服务器工作;数据对象经过纠删编码形成数据块和校验块。当小写更新发生时,数据节点存储数据块,数据块采用就地更新的方式更新;日志节点存储校验块,校验块采用追加日志的方式更新。本发明有益效果:减少了数据块的先读后写操作,实现了低存储开销和快速更新,提升系统存储性能,降低了磁盘的I/O影响。

    一种面向边缘时序数据存储的时变跳表索引系统及方法

    公开(公告)号:CN118193542A

    公开(公告)日:2024-06-14

    申请号:CN202410599057.1

    申请日:2024-05-15

    摘要: 本申请提供了一种面向边缘时序数据存储的时变跳表索引系统及方法,涉及数据处理技术领域,按时间顺序划分的多个时间分区,每个时间分区包括对应时间段存储的数据集合。每个所述时间分区包括由多层索引节点链表的索引层和用于存储数据的数据节点单链表构成的子跳表;所述索引节点链表中的索引节点包括指向不同层的索引节点的索引指针和指向所述数据节点单链表中对应数据节点的第一数据指针,数据节点单链表中的数据节点包括指向所述数据节点的相邻的下一个数据节点的第二数据指针。每个分区对应形成一个独立的子跳表,可以从每个分区的头结点指针处开始遍历,如此能够,降低数据查询和数据处理的资源消耗,提高数据查询效率和数据处理效率。

    一种大规模对象存储系统的数据布局和编码方法

    公开(公告)号:CN117370067A

    公开(公告)日:2024-01-09

    申请号:CN202311669991.8

    申请日:2023-12-07

    IPC分类号: G06F11/10 G06F3/06 H03M13/37

    摘要: 本发明提供了一种大规模对象存储系统的数据布局和编码方法,将对象文件大小逻辑上修改为偶数,并切分为一系列几何序列大小的数据块;将数据块分配到不同数据节点,并记录数据块的分布情况;对数据块执行奇偶校验编码,生成局部校验块和全局校验块;客户端执行Get命令,在相应的数据节点上读取数据,将数据合并为原有对象文件;若数据块所在节点存在故障,则通过局部校验块恢复后发送给客户端;当无法通过局部校验块恢复时通过全局校验块恢复。本发明有益效果:避免混合编码带来的额外开销,充分发挥再生码的高恢复性能,在降级读取时具有更低的修复成本,降低了降级读取延迟并提升了恢复效率。

    一种基于图像曲线化调整和颜色重分布的数据增强方法

    公开(公告)号:CN114202769A

    公开(公告)日:2022-03-18

    申请号:CN202111295907.1

    申请日:2021-11-03

    IPC分类号: G06V40/10 G06V40/20 G06V10/56

    摘要: 一种基于图像曲线化调整和颜色重分布的数据增强算法,通过利用三角函数调整图像的姿势、利用改进的漫水填充算法调整行人的颜色信息,并将新生成的图片数据应用到深度学习网络的训练过程中,通过分别扩增图片的姿势和外观信息,以达到对数据集样本充分增广的效果,从而使深度学习模型获取更多的数据特征进行训练,以得到更高的行人重识别准确率;本方法基于传统算法和数学三角函数,实现容易,而且效果提升显著,便于作为一个数据预处理模块嵌入到其它深度学习网络中。

    基于通道融合和分类器对抗的无监督跨域动作识别方法

    公开(公告)号:CN111797814A

    公开(公告)日:2020-10-20

    申请号:CN202010708119.X

    申请日:2020-07-21

    摘要: 本发明公开了一种基于通道融合和分类器对抗的无监督跨域动作识别方法(CAFCCN),实现了基于源域有标签数据集和目标域无标签训练集对目标域测试集的高效动作识别。方法的具体步骤如下:(1)动作识别模型的选择;(2)双流深度网络结构的优化;(3)基于双流网络的目标函数构建;(4)基于双流网络的无监督跨域动作识别模型搭建;(5)数据集的构建。本发明的优点是基于已知数据集可对其他训练集无标签的数据集进行高效的动作识别,能够有效地解决目标数据集训练集数据无标签的问题。应用对抗的方法,能够同时实现类别和域的混淆,获得域级别和类级别的不变特征,并且方法收敛速度快,可以实现动作的高效识别。

    一种持久内存和闪存混合的存储系统及写数据方法

    公开(公告)号:CN117632018A

    公开(公告)日:2024-03-01

    申请号:CN202311616129.0

    申请日:2023-11-30

    IPC分类号: G06F3/06

    摘要: 本发明公开了一种持久内存和闪存混合的存储系统及写数据方法,闪存最小读写单位即闪存页大小用P标识,擦除块大小用B标识,所述写数据方法具体包括以下步骤:步骤一、对于写入数据小于闪存页大小P的情况,将数据直接写入持久内存中;步骤二、对于写入数据的长度大于闪存页大小P,且小于擦除块大小B,即P≤写入数据≤B的情况,如果此时持久内存的空闲空间小于阈值T1,那么数据写入持久内存,否则写入闪存;步骤三、对于写入数据大于擦除块大小B的情况,那么数据按照顺序写入闪存中,这种方式能够减少闪存的擦除。本发明将持久内存和闪存配合使用,并根据写入数据的大小优化了数据放置策略,以达到优化闪存寿命和提升性能的效果。

    一种基于多数据通道和半集中领导的分布式协议的方法

    公开(公告)号:CN116781698A

    公开(公告)日:2023-09-19

    申请号:CN202310854639.5

    申请日:2023-07-13

    IPC分类号: H04L67/10 H04L67/104

    摘要: 本发明针对分布式共识协议中单领导协议瓶颈,吞吐量低,延迟高等问题,提出了一种基于多数据通道和半集中领导的分布式协议的方法。本发明搭建了一个新的分布链式协议,该协议将系统中全部节点以链式组织,前F+1为前链,后F为后链,减少通信量。同时基于对客户端消息的分发和排序分离,将物理上一个节点逻辑上分为三层:Front层、Data层和Control层。其中,Front层接收客户端的请求,执行Control层的执行指令并回复客户端;Data层分发客户端的请求,各个前链节点都有一条数据通道,并行地分发客户端请求;Control层负责进行排序消息的分发和向Front层发送执行指令。重要的是,本发明将分布式协议将分发消息和排序消息分离,即中Data层和Control层分离,同时使用多个数据通道使得多个分发消息并行处理,排序消息独立地进行分发,实现了高吞吐量和低延迟。本方法可用于分布式系统的共识,可以得到高吞吐和低延迟的结果。