公开(公告)号：CN106446168A

公开(公告)日：2017-02-22

申请号：CN201610849787.8

申请日：2016-09-26

Applicant: 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 王宇 ,  徐晓燕 ,  周渊 ,  刘利宏 ,  刘庆良 ,  郑彩娟 ,  黄成 ,  王振宇 ,  李斌斌 ,  周游

IPC: G06F17/30

Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法，属于信息处理领域；具体为：首先，初始化系统启动参数；加载器管理模块为每个线程各申请一个加载器；每个线程各创建一个数据解析模块，对客户端数据进行解析并传输给加载器；每个加载器分别调用数据校验模块进行检验；然后，将检验后的字段数据缓存到数据缓存模块，进行管理并传输给数据传输模块；通过分布式节点监听模块获取每个分布式数据仓库的监听状态，并发送给数据传输模块；最后，数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率，符合目前的应用需求，具有广阔的应用前景。

公开(公告)号：CN109885642B

公开(公告)日：2021-11-02

申请号：CN201910119254.8

申请日：2019-02-18

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 刘欣然 ,  张鸿 ,  惠榛 ,  吕雁飞 ,  马秉楠 ,  李斌斌 ,  王振宇 ,  黄航 ,  王树鹏

IPC: G06F16/31 ,  G06F16/33

Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置，所述方法包括：获取SQL语句，创建全文检索表，并将所述全文检索表持久化到Zookeeper中；配置ElasticSearch集群中一部分节点使用SSD盘，另一部分节点使用SATA盘，并在每个节点上安装自定义的ElasticSearch插件；数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中，通过所述ElasticSearch插件对请求进行过滤，并使用预先存储的全文检索表中的元数据进行索引创建；通过所述ElasticSearch插件运行监听策略，监听Zookeeper中表的元数据信息的变化，并应用分级存储策略，执行定时回滚策略，将回滚任务下发给ElasticSearch集群。

公开(公告)号：CN107066546B

公开(公告)日：2021-03-09

申请号：CN201710165501.9

申请日：2017-03-20

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 毕慧 ,  付戈 ,  李超 ,  王振宇 ,  李斌斌 ,  王树鹏

IPC: G06F16/2458

Abstract: 本发明涉及一种基于MPP引擎的跨数据中心快速查询方法和系统，属于大数据检索分析领域，可应用于实时系统或离线备份系统。该方法将不同MPP引擎中的数据进行统一标记并存储到元数据中；全局中心节点接收查询请求并对其进行语法解析，然后分发送到对应的数据分中心节点；各数据分中心节点通过元数据的相应MPP引擎进行查询，并将数据传输给全局中心节点；全局中心节点利用MPP引擎对数据分中心节点返回的数据进行快速查询，并输出查询结果。本发明能够实现不同数据中心数据的联合查询，兼容多种MPP引擎，充分利用不同存储模式的特点优化查询，支持多种方式导出查询结果，便于实现上层不同应用对结果数据再分析的不同要求。

公开(公告)号：CN106649462B

公开(公告)日：2019-11-08

申请号：CN201610849788.2

申请日：2016-09-26

Applicant: 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 王宇 ,  徐晓燕 ,  周渊 ,  吴小伟 ,  刘庆良 ,  王振宇 ,  郑彩娟 ,  李斌斌 ,  黄成 ,  周游

IPC: G06F16/31 ,  G06F16/33

Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法，属于海量数据全文检索领域。本发明将Lucene引入检索引擎，对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上，设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制，对每个执行节点进行计数判断，调整每个fragment的执行位置，以均衡节点资源。本发明还优化全文读取引擎机制，优先采用Lucene进行检索，当出现问题时调用RCFile检索，以保证检索的持续性和正确性。本发明提高了检索性能，可更加合理地利用集群的资源。

公开(公告)号：CN108512902A

公开(公告)日：2018-09-07

申请号：CN201810159206.7

申请日：2018-02-24

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 张鸿 ,  党向磊 ,  汪立东 ,  惠榛 ,  徐太忠 ,  亓子森 ,  陈阳 ,  李斌斌

IPC: H04L29/08

Abstract: 本发明公开了一种数据共享方法和装置。该方法包括：获取数据源对应的第一元数据和数据目的对应的第二元数据；根据所述第一元数据和所述第二元数据，配置整形流程文件；根据所述第一元数据、所述第二元数据、所述整形流程文件以及预先配置的数据传输路径，生成共享场景配置文件；根据所述共享场景配置文件传输数据，实现所述数据源和所述数据目之间的数据共享。本发明通过简单配置便可构建数据共享的快速传输通道，在传输通道中，可根据元数据定义及整形流程进行自动整形，数据规范化，可以对多源数据灵活整形，使数据共享过程规范化，并且有效提高了数据共享方案的通用性和传输效率。