公开(公告)号：CN107943952B

公开(公告)日：2020-10-13

申请号：CN201711194929.2

申请日：2017-11-24

申请人： 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

发明人： 强倩 ,  孙昊良 ,  张慧琳 ,  周渊 ,  张晨 ,  李斌斌 ,  刘庆良

IPC分类号： G06F16/2452 ,  G06F16/22 ,  G06F16/2453 ,  G06F16/2455

摘要： 本发明公开了一种基于Spark框架进行全文检索的实现方法，属于大数据处理领域。该方法首先接收待执行SQL语句，生成语法树并转换成相应的逻辑计划；然后，从Hive中获取检索所有表的元数据，寻找支持全文检索的字段，并通过字段哈希索引对数据块进行初步裁剪；继而，根据查询条件从文件元数据中获取数据块所具体存放的磁盘位置；最后，将逻辑执行计划转换为可分布式执行的任务集合，通过各个数据块位置来确定任务具体执行的目标节点和任务所具体执行的目标进程；对任务进行分发执行，并汇总执行结果，迭代获取最终结果。该方法具有较高的效率，可以快速的完成海量数据的全文检索，在大数据处理领域具有很强的实用性和应用范围，具有很广泛的应用前景。

公开(公告)号：CN107943952A

公开(公告)日：2018-04-20

申请号：CN201711194929.2

申请日：2017-11-24

申请人： 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

发明人： 强倩 ,  孙昊良 ,  张慧琳 ,  周渊 ,  张晨 ,  李斌斌 ,  刘庆良

IPC分类号： G06F17/30

摘要： 本发明公开了一种基于Spark框架进行全文检索的实现方法，属于大数据处理领域。该方法首先接收待执行SQL语句，生成语法树并转换成相应的逻辑计划；然后，从Hive中获取检索所有表的元数据，寻找支持全文检索的字段，并通过字段哈希索引对数据块进行初步裁剪；继而，根据查询条件从文件元数据中获取数据块所具体存放的磁盘位置；最后，将逻辑执行计划转换为可分布式执行的任务集合，通过各个数据块位置来确定任务具体执行的目标节点和任务所具体执行的目标进程；对任务进行分发执行，并汇总执行结果，迭代获取最终结果。该方法具有较高的效率，可以快速的完成海量数据的全文检索，在大数据处理领域具有很强的实用性和应用范围，具有很广泛的应用前景。