-
公开(公告)号：CN107391034B
公开(公告)日：2019-05-10
申请号：CN201710555589.5
申请日：2017-07-07
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于局部性优化的重复数据检测方法，属于计算机存储技术领域，解决现有重复数据检测方法中检测效率低下的问题，以适应因存储数据规模扩大，而导致重复数据检测效率降低的现状。本发明包括布隆过滤器检测、哈希桶写缓存检测、哈希桶读缓存检测、哈希桶地址表检测步骤。本发明主要针对局部性较强的数据集类型，通过挖掘数据集中的局部性，提高数据预取的效率，降低磁盘访问开销，提升数据去重的吞吐率。对于数据集中可能的重复数据，本发明首先利用布隆过滤器对数据块的重复性进行预判，接下来根据不同的条件分别对缓存区的热区及冷区及磁盘进行三级重复数据的检测，充分利用重复数据中的局部性，提升重复数据的检测效能。
-
公开(公告)号：CN103970744B
公开(公告)日：2016-12-28
申请号：CN201310028726.1
申请日：2013-01-25
Applicant: 华中科技大学
IPC: G06F17/30
Abstract: 一种可扩展的重复数据检测方法，属于计算机存储技术领域，解决现有重复数据检测方法中存储容量无法高效扩展的问题，以适应存储需求扩大，重删系统面临升级换代的现状。本发明包括分块处理、指纹提取、布隆过滤器检索、指纹子集表检索、未满布隆过滤器判断、新指纹标记、布隆过滤器数量判断以及布隆过滤器阵列扩展步骤。本发明采用布隆过滤器阵列来检索指纹数据，可快速定位检索范围，提高检索效率，实现重复数据的检测，具有高扩展性、高查询性能、支持元素定位、可控制误判率，有效减少内存开销。布隆过滤器阵列由同构的一系列布隆过滤器构成，只需提供误判率ε’及预估检索的指纹总数量nmax，就能计算出需要的布隆过滤器的数量及哈希函数的个数。
-
公开(公告)号：CN102253820B
公开(公告)日：2013-03-20
申请号：CN201110162619.9
申请日：2011-06-16
Applicant: 华中科技大学
IPC: G06F5/06
Abstract: 本发明提供了一种流式重复数据检测方法，通过构建一个计时型布隆过滤器阵列TBFA，在滑动窗口模型内灵活高效地检测重复数据。TBFA由多个同构的计时型布隆过滤器TBF构成，每个TBF包含一个布隆过滤器和一个分离的用于保存时间戳的计时器组，整个TBFA以一种循环先入先出队列的方式工作，在记录新元素的同时，淘汰已经移出数据流监控窗口的旧元素。本发明在滑动窗口模型下工作，对元素的监测可以精确到一个元素，从而使基于本发明的统计结果具有稳定性，另外TBFA中的部分计时器组可以被卸载到磁盘中，从而减少内存开销。理论分析和实验数据表明，DCBA在加载10%以内数据内容到内存的情况下，能够保持95%以上的查询效率，从而使本发明在空间效率和可扩展性上优于现有技术方案。
-
Patent Agency Ranking
公开(公告)号：CN107515931A
公开(公告)日：2017-12-26
申请号：CN201710747552.2
申请日：2017-08-28
Applicant: 华中科技大学
CPC classification number: G06F16/2228 , G06F16/215 , G06K9/6215 , G06K9/6218
Abstract: 本发明公开了一种基于聚类的重复数据检测方法，其主要针对数据相似性较强的数据集类型，通过利用数据集中的数据相似性原理，提高重复数据检测的性能，同时提升数据去重的性能。具体而言，对于数据集中可能的重复数据，本发明利用相似性合并策略，先对检测指纹列表进行分段，每段选出代表性指纹，根据其代表性指纹将不同段分类并合并到不同的指纹容器中。指纹容器从数据集的相似段中收集重复的指纹，以增加数据去重的效率，同时提升去重的性能。指纹容器存储在磁盘上，它可以作为一个整体被写入和读出磁盘，这提高了指纹检索效率并克服了相似段的分段存储的问题。
-
公开(公告)号：CN102253820A
公开(公告)日：2011-11-23
申请号：CN201110162619.9
申请日：2011-06-16
Applicant: 华中科技大学
IPC: G06F5/06
Abstract: 本发明提供了一种流式重复数据检测方法，通过构建一个计时型布隆过滤器阵列TBFA，在滑动窗口模型内灵活高效地检测重复数据。TBFA由多个同构的计时型布隆过滤器TBF构成，每个TBF包含一个布隆过滤器和一个分离的用于保存时间戳的计时器组，整个TBFA以一种循环先入先出队列的方式工作，在记录新元素的同时，淘汰已经移出数据流监控窗口的旧元素。本发明在滑动窗口模型下工作，对元素的监测可以精确到一个元素，从而使基于本发明的统计结果具有稳定性，另外TBFA中的部分计时器组可以被卸载到磁盘中，从而减少内存开销。理论分析和实验数据表明，DCBA在加载10%以内数据内容到内存的情况下，能够保持95%以上的查询效率，从而使本发明在空间效率和可扩展性上优于现有技术方案。
-
公开(公告)号：CN107515931B
公开(公告)日：2023-04-25
申请号：CN201710747552.2
申请日：2017-08-28
Applicant: 华中科技大学
IPC: G06F16/215 , G06F18/23 , G06F16/22 , G06F18/22
Abstract: 本发明公开了一种基于聚类的重复数据检测方法，其主要针对数据相似性较强的数据集类型，通过利用数据集中的数据相似性原理，提高重复数据检测的性能，同时提升数据去重的性能。具体而言，对于数据集中可能的重复数据，本发明利用相似性合并策略，先对检测指纹列表进行分段，每段选出代表性指纹，根据其代表性指纹将不同段分类并合并到不同的指纹容器中。指纹容器从数据集的相似段中收集重复的指纹，以增加数据去重的效率，同时提升去重的性能。指纹容器存储在磁盘上，它可以作为一个整体被写入和读出磁盘，这提高了指纹检索效率并克服了相似段的分段存储的问题。
-
公开(公告)号：CN107391034A
公开(公告)日：2017-11-24
申请号：CN201710555589.5
申请日：2017-07-07
Applicant: 华中科技大学
IPC: G06F3/06
CPC classification number: G06F3/061 , G06F3/0641 , G06F3/0656
Abstract: 本发明公开了一种基于局部性优化的重复数据检测方法，属于计算机存储技术领域，解决现有重复数据检测方法中检测效率低下的问题，以适应因存储数据规模扩大，而导致重复数据检测效率降低的现状。本发明包括布隆过滤器检测、哈希桶写缓存检测、哈希桶读缓存检测、哈希桶地址表检测步骤。本发明主要针对局部性较强的数据集类型，通过挖掘数据集中的局部性，提高数据预取的效率，降低磁盘访问开销，提升数据去重的吞吐率。对于数据集中可能的重复数据，本发明首先利用布隆过滤器对数据块的重复性进行预判，接下来根据不同的条件分别对缓存区的热区及冷区及磁盘进行三级重复数据的检测，充分利用重复数据中的局部性，提升重复数据的检测效能。
-
公开(公告)号：CN103970744A
公开(公告)日：2014-08-06
申请号：CN201310028726.1
申请日：2013-01-25
Applicant: 华中科技大学
IPC: G06F17/30
CPC classification number: G06F3/0641
Abstract: 一种可扩展的重复数据检测方法，属于计算机存储技术领域，解决现有重复数据检测方法中存储容量无法高效扩展的问题，以适应存储需求扩大，重删系统面临升级换代的现状。本发明包括分块处理、指纹提取、布隆过滤器检索、指纹子集表检索、未满布隆过滤器判断、新指纹标记、布隆过滤器数量判断以及布隆过滤器阵列扩展步骤。本发明采用布隆过滤器阵列来检索指纹数据，可快速定位检索范围，提高检索效率，实现重复数据的检测，具有高扩展性、高查询性能、支持元素定位、可控制误判率，有效减少内存开销。布隆过滤器阵列由同构的一系列布隆过滤器构成，只需提供误判率ε’及预估检索的指纹总数量nmax，就能计算出需要的布隆过滤器的数量及哈希函数的个数。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.024 seconds)
