发明公开
CN113064892A 雾存储数据去冗余方法
审中-实审
- 专利标题: 雾存储数据去冗余方法
-
申请号: CN202110455525.4申请日: 2021-04-26
-
公开(公告)号: CN113064892A公开(公告)日: 2021-07-02
- 发明人: 徐健 , 黄强 , 鲁学仲 , 李浩升 , 王庆鹏 , 赵梅 , 马怡璇 , 陈伟
- 申请人: 国网新疆电力有限公司信息通信公司 , 国家电网有限公司
- 申请人地址: 新疆维吾尔自治区乌鲁木齐市天山区建设路123号;
- 专利权人: 国网新疆电力有限公司信息通信公司,国家电网有限公司
- 当前专利权人: 国网新疆电力有限公司信息通信公司,国家电网有限公司
- 当前专利权人地址: 新疆维吾尔自治区乌鲁木齐市天山区建设路123号;
- 代理机构: 乌鲁木齐合纵专利商标事务所
- 代理商 周星莹; 汤洁
- 主分类号: G06F16/215
- IPC分类号: G06F16/215 ; G06F16/22 ; G06F16/901 ; G06F16/23 ; G06F11/14 ; G06F16/2455 ; G06F16/2453
摘要:
本发明涉及冗余数据处理方法技术领域,是一种雾存储数据去冗余方法,其对于移动终端的查询或存储请求,根据雾节点可用容量进行处理。本发明所述雾存储数据去冗余方法是一种针对低延迟重复数据的删除方案,其通过在内存中构建索引表,每个索引值对应的红黑树作为存储数据指纹的结构,减少磁盘与内存间的I/O,提高查询速度,并利用循环冗余码(CRC)技术判断具有相同数据指纹的数据块是否重复,并将冲突数据块用链表结构存储在指纹节点中;另外,为防止操作系统的突然崩溃,在内存中持久化保存指纹表,一旦操作系统崩溃重启,内存中的数据会消失,此时磁盘中的两个文件合并重新构建内存中的指纹表,同时两个文件内容清空重新记录。