用于数据去重的方法和设备
摘要:
本发明的实施例公开了一种用于数据去重的方法,包括:在所述数据中获取一个当前文件;根据所述当前文件中至少一个预定位置处的采样数据块,确定是否存有相似的历史文件;响应于不存在相似的历史文件,以文件为单位存储所述当前文件以及相应的元数据;响应于存在相似的历史文件,对所述当前文件采用以块为单位的去重操作。通过本申请的方案,能够提高数据去重的效率。
0/0