-
公开(公告)号：CN109885429A
公开(公告)日：2019-06-14
申请号：CN201910124263.6
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种大数据灾备方法及装置，所述方法包括：将本数据中心的将待入库数据写入Kafka中间件，将Kafka中间件中的待入库数据备份到另外一个数据中心，接收所述另外一个数据中心发送的灾备数据，并将所述灾备数据写入所述Kafka中间件；在备份完成后，通过Flume将Kafka中间件的待入库数据进行入库。
-
公开(公告)号：CN109885316A
公开(公告)日：2019-06-14
申请号：CN201910119277.9
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F8/61
Abstract: 本发明公开了一种基于kubernetes的hdfs-HBase部署方法，所述方法包括：计算层通过kubernetes模块获取服务器信息，打包基础镜像，并在所述镜像仓库中保存Hbase基础配置；在用户创建Hbase应用时，计算层通过管理页面获取用户输入的需求信息，修改Hbase基础配置，遴选服务器并打标签，并根据本次Hbase部署的需求信息，生成yaml文件，并调用所述kubernetes模块；所述kubernetes模块按照所述yaml文件要求部署并启动Hbase集群，并将所述Hbase集群添加到巡检队列中；所述巡检系统对所述巡检队列进行轮询。
-
公开(公告)号：CN108536727A
公开(公告)日：2018-09-14
申请号：CN201810158888.X
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种数据检索方法和装置。根据请求数据检索的结构化查询语言SQL语句生成执行计划；判断所述执行计划是否满足流式结果返回条件；如果满足流式结果返回条件，则在执行所述执行计划的过程中，逐个获取检索结果并逐个提供给用户，直至所有检索结果获取完毕并提供给用户为止。本发明在数据检索过程中，逐个获取检索结果，并且一边获取检索结果一边提供给用户使用，有效降低了使用SparkSQL进行数据检索时的结果返回响应时间和检索总消耗时间，提升了SparkSQL框架进行数据检索时的效率和可用性，并且通过流式返回方式，解决了SparkSQL在进行大结果集检索时可能出现的内存问题，使SparkSQL框架进行大结果集检索成为可能。
-
公开(公告)号：CN108536808B
公开(公告)日：2022-04-29
申请号：CN201810296682.3
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明公开了一种基于Spark计算框架的数据获取方法和装置。该方法包括：在接收到表对象访问请求之后，获取Spark的计算资源信息以及MPP集群中待访问的数据表的数据分布信息；根据计算资源信息和数据分布信息，生成多个Partition；其中，每个Partition对应数据表中的部分数据；通过生成的多个Partition，从MPP集群中获取数据表。本发明充分利用MPP集群的数据存储特性，通过多个Partition，直接从MPP的存储节点快速获取数据集。进一步地，在计算资源充足的情况下，可以对存储节点的数据表进行进一步的拆分，以达到提高并行度，提升数据导入性能的目的。可以根据MPP集群的数据分布情况，优先从本地存储中获取数据，减少数据传输开销、节约网络带宽、减少网络延迟、提高计算性能。
-
公开(公告)号：CN109885642B
公开(公告)日：2021-11-02
申请号：CN201910119254.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置，所述方法包括：获取SQL语句，创建全文检索表，并将所述全文检索表持久化到Zookeeper中；配置ElasticSearch集群中一部分节点使用SSD盘，另一部分节点使用SATA盘，并在每个节点上安装自定义的ElasticSearch插件；数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中，通过所述ElasticSearch插件对请求进行过滤，并使用预先存储的全文检索表中的元数据进行索引创建；通过所述ElasticSearch插件运行监听策略，监听Zookeeper中表的元数据信息的变化，并应用分级存储策略，执行定时回滚策略，将回滚任务下发给ElasticSearch集群。
-
Patent Agency Ranking
公开(公告)号：CN106487592B
公开(公告)日：2019-09-27
申请号：CN201610921292.1
申请日：2016-10-21
Applicant: 国家计算机网络与信息安全管理中心 , 长安通信科技有限责任公司
Abstract: 本发明提供一种基于数据立方体的分布式系统故障诊断方法，其方法步骤如下：获取分布式系统测试数据，其包括外部测试数据和内部监测定位数据；测试数据预处理，建立测试数据集；构建数据立方体：通过分析数据立方体，诊断分布式系统故障；再次执行故障诊断。通过该方法能够显著提高准确定位故障的效率，大大降低对故障定位人员的要求。
-
公开(公告)号：CN109918229A
公开(公告)日：2019-06-21
申请号：CN201910119274.5
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置，方法包括：加载工具直连第一个副本，进行数据实时入库加载，并以事务为单位构建同步记录；复制流程调度器加载元数据，检查节点状态，构造多个副本的拓扑关系，启动各个节点上的复制执行器，将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器；复制执行器从消息总线获取复制处理消息，解析拓扑信息，查找到数据源，通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表，检查增量数据，如果没有，则循环等待，否则执行下步；复制执行器计算增量数据的同步范围信息，读取给定范围的数据，加载至本身节点上的副本，并构造本次数据复制的同步记录，执行步骤3。
-
公开(公告)号：CN109902065A
公开(公告)日：2019-06-18
申请号：CN201910120843.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/14 , G06F16/182
Abstract: 本发明公开了一种访问分布式集群外部数据方法及装置，所述方法包括：将文件服务进程设置在数据库集群系统以外的主机上，并设置文件服务进程的参数，启动所述文件服务进程；在数据库集群系统的数据节点需要访问外部数据时，启动ExternalTableScan算子，连接所述文件服务进程，基于预先创建的外部表进行外部数据访问。
-
公开(公告)号：CN109885453A
公开(公告)日：2019-06-14
申请号：CN201910119278.3
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种基于流数据处理的大数据平台监控系统，所述系统包括：数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示。
-
公开(公告)号：CN109815295A
公开(公告)日：2019-05-28
申请号：CN201910119281.5
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种分布式集群数据导入方法及装置，所述方法包括：数据节点接收Master节点下发的数据加载命令，启动ForeignTableScan算子加载文件加载进程，通过ForeignTableScan算子基于预先设置的外部表，把要请求的数据及外部文件相关信息发送给文件加载进程，其中，文件加载进程设置第三方ETL服务器中；文件加载进程根据数据节点发来的信息顺序读取数据文件，并将数据发送给数据节点；数据节点的ForeignTableScan算子收取数据后，将数据存储到本地。
-
-
-
-
-
-
-
-
-
Search Results
36
records
(took 0.047 seconds)
