公开(公告)号：CN107346331B

公开(公告)日：2019-08-20

申请号：CN201710482965.2

申请日：2017-06-22

申请人： 武汉大学

发明人： 余啸 ,  刘进 ,  吴思尧 ,  崔晓晖 ,  张建升 ,  井溢洋

IPC分类号： G06F16/20 ,  G06F16/23

摘要： 本发明公开了一种基于Spark云计算平台的并行序列模式挖掘方法，针对现有的串行化序列模式挖掘算法在处理海量数据时计算能力低效的问题和现有的基于Hadoop的并行序列模式挖掘算法具有高IO开销和负载不平衡的问题，设计了合理的投影序列数据库切分策略，最大限度的解决了负载不平衡的问题。在此基础上根据MapReduce编程框架的特性，对原始PrefixSpan算法进行了并行化，利用Spark云计算平台的大规模并行计算能力提高了海量数据序列模式挖掘效率。本发明的技术方案具有简单、快速的特点，能够较好地提高序列模式挖掘的效率。

公开(公告)号：CN107145548B

公开(公告)日：2019-08-20

申请号：CN201710284017.8

申请日：2017-04-26

申请人： 武汉大学

发明人： 余啸 ,  刘进 ,  吴思尧 ,  崔晓晖 ,  张建升 ,  井溢洋

IPC分类号： G06F16/2458 ,  G06F16/23

摘要： 本发明公开了一种基于Spark平台的并行序列模式挖掘方法，针对现有的串行化序列模式挖掘算法在处理海量数据时计算能力低效的问题和现有的基于Hadoop的并行序列模式挖掘算法具有高IO开销和负载不平衡的问题，设计了合理的序列数据库分解策略，最大限度的解决了负载不平衡的问题。在此基础上根据MapReduce编程框架的特性，对原始GSP算法进行了并行化，利用Spark云计算平台的大规模并行计算能力提高了海量数据序列模式挖掘效率。

公开(公告)号：CN107145548A

公开(公告)日：2017-09-08

申请号：CN201710284017.8

申请日：2017-04-26

申请人： 武汉大学

发明人： 余啸 ,  刘进 ,  吴思尧 ,  崔晓晖 ,  张建升 ,  井溢洋

IPC分类号： G06F17/30

摘要： 本发明公开了一种基于Spark平台的并行序列模式挖掘方法，针对现有的串行化序列模式挖掘算法在处理海量数据时计算能力低效的问题和现有的基于Hadoop的并行序列模式挖掘算法具有高IO开销和负载不平衡的问题，设计了合理的序列数据库分解策略，最大限度的解决了负载不平衡的问题。在此基础上根据MapReduce编程框架的特性，对原始GSP算法进行了并行化，利用Spark云计算平台的大规模并行计算能力提高了海量数据序列模式挖掘效率。

公开(公告)号：CN107346331A

公开(公告)日：2017-11-14

申请号：CN201710482965.2

申请日：2017-06-22

申请人： 武汉大学

发明人： 余啸 ,  刘进 ,  吴思尧 ,  崔晓晖 ,  张建升 ,  井溢洋

IPC分类号： G06F17/30

摘要： 本发明公开了一种基于Spark云计算平台的并行序列模式挖掘方法，针对现有的串行化序列模式挖掘算法在处理海量数据时计算能力低效的问题和现有的基于Hadoop的并行序列模式挖掘算法具有高IO开销和负载不平衡的问题，设计了合理的投影序列数据库切分策略，最大限度的解决了负载不平衡的问题。在此基础上根据MapReduce编程框架的特性，对原始PrefixSpan算法进行了并行化，利用Spark云计算平台的大规模并行计算能力提高了海量数据序列模式挖掘效率。本发明的技术方案具有简单、快速的特点，能够较好地提高序列模式挖掘的效率。