一种车辆物联网云存储系统重复数据删除方法
摘要:
一种车辆物联网云存储系统重复数据删除方法,涉及信息存储领域,步骤如下:将固定窗口置于未分块的起始位置,滑动窗口寻找不小于极大值的字节作为分块点、生成块指纹Chunkfp;记录滑动窗口内极大值 和分块长度SizeChunk;重复a、b,直至分块完成;依次排列三元组数据、建立三元组列表,三元组数据为 SizeChunk+1为下一分块长度;当有新的数据流输入时,执行步骤a,在三元组列表中寻找具有相同块指纹的三元组数据,找到时,将三元组列表中自具有相同块指纹的三元组数据起向后的各三元组数据中的SizeChunk+1依次作为对新输入的数据流分块的字节长度,对新输入的数据流进行分块,直至分块完成;未找到时,更新三元组列表;本发明分块速度快,系统数据吞吐率高。
0/0