- 专利标题: 基于Spark平台的分布式大数据函数依赖发现方法
- 专利标题(英): A distributed big data function dependency discovery method based on a Spark platform
-
申请号: CN201811285204.9申请日: 2018-10-31
-
公开(公告)号: CN109918410A公开(公告)日: 2019-06-21
- 发明人: 张海粟 , 王龙 , 左青云 , 李韬伟 , 张胜 , 吴照林 , 刘鹏飞 , 朱明东 , 戴剑伟 , 徐飞 , 刘培磊 , 文峰 , 刘一博 , 张岩
- 申请人: 中国人民解放军国防科技大学
- 申请人地址: 湖北省武汉市江岸区解放公园路45号
- 专利权人: 中国人民解放军国防科技大学
- 当前专利权人: 中国人民解放军国防科技大学
- 当前专利权人地址: 湖北省武汉市江岸区解放公园路45号
- 代理机构: 武汉科皓知识产权代理事务所
- 代理商 严彦
- 主分类号: G06F16/2458
- IPC分类号: G06F16/2458
摘要:
本发明提供一种基于Spark平台的分布式大数据函数依赖发现方法,包括数据分区,包括根据Spark集群各节点分配的CPU内核数对数据进行分区;生成属性集合的所有非空子集,包括通过数据库中的所有属性集合,生成含有所有非空子集的集合,为求解所有属性集合的等价类个数作准备;累加各节点属性集合的等价类数量,通过等价类计算得到全局数据库的(属性集合,等价类数)集合;迭代各属性集合生成函数依赖集合,包括由各属性集合的子集构建候选函数依赖关系,判断函数依赖关系是否成立。该方法解决了分布式环境下函数依赖发现算法的负载不平衡和低效问题,大幅度提高了函数依赖发现的执行效率。
公开/授权文献
- CN109918410B 基于Spark平台的分布式大数据函数依赖发现方法 公开/授权日:2020-12-04