雾存储数据去冗余方法
摘要:
本发明涉及冗余数据处理方法技术领域,是一种雾存储数据去冗余方法,其对于移动终端的查询或存储请求,根据雾节点可用容量进行处理。本发明所述雾存储数据去冗余方法是一种针对低延迟重复数据的删除方案,其通过在内存中构建索引表,每个索引值对应的红黑树作为存储数据指纹的结构,减少磁盘与内存间的I/O,提高查询速度,并利用循环冗余码(CRC)技术判断具有相同数据指纹的数据块是否重复,并将冲突数据块用链表结构存储在指纹节点中;另外,为防止操作系统的突然崩溃,在内存中持久化保存指纹表,一旦操作系统崩溃重启,内存中的数据会消失,此时磁盘中的两个文件合并重新构建内存中的指纹表,同时两个文件内容清空重新记录。
0/0