-
公开(公告)号：CN106817256A
公开(公告)日：2017-06-09
申请号：CN201710016696.0
申请日：2017-01-10
申请人： 北京国电通网络技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 北京中电飞华通信股份有限公司 , 国网信息通信产业集团有限公司 , 国网冀北电力有限公司
IPC分类号： H04L12/24
CPC分类号： H04L41/06 , H04L41/5096
摘要： 本发明公开了一种分布式系统网络资源的运维管理可靠性提升方法，包括根据资源的使用情况与深度神经网络的学习经验对接收到的任务进行映射；根据所述深度神经网络的计算代价调整所述映射中任务权重的个数；对所有任务均执行上述操作并更新所述深度神经网络的输出权重。本发明能够在面对难以预测的复杂场景下，能够既不提高计算复杂度，又能够自适应的在问题空间中找到最优解决方案。
-
公开(公告)号：CN106569896B
公开(公告)日：2019-02-05
申请号：CN201610956986.9
申请日：2016-10-25
申请人： 北京国电通网络技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 北京中电飞华通信股份有限公司 , 国网信息通信产业集团有限公司 , 国网冀北电力有限公司 , 国网内蒙古东部电力有限公司 , 北京万里开源软件有限公司
IPC分类号： G06F9/50
摘要： 本发明公开了一种数据分发及并行处理方法和系统，所述方法包括：对初始查询指令进行解析，得到真实查询指令；将真实查询指令通过工作分配节点分发到不同的数据节点中；在每个数据节点上分别执行接收到的真实查询指令，并将查询结果返回给工作分配节点，同时在每个服务器节点上保持数据信息表的更新；在每个服务器节点上，对所述真实查询指令对应的查询表进行备份，使得每个服务器节点上保存有查询表副本；在每个服务器节点上，当检测到存在并发冲突时，通过调用当前服务器节点上的查询表副本对真实查询指令并发执行。所述数据分发及并行处理方法及系统不仅能够保证数据的一致性而且能够提高数据查询的速度和效率。
-
公开(公告)号：CN106569896A
公开(公告)日：2017-04-19
申请号：CN201610956986.9
申请日：2016-10-25
申请人： 北京国电通网络技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 北京中电飞华通信股份有限公司 , 国网信息通信产业集团有限公司 , 国网冀北电力有限公司 , 国网内蒙古东部电力有限公司 , 北京万里开源软件有限公司
IPC分类号： G06F9/50
CPC分类号： G06F9/5027 , G06F9/5083 , G06F2209/5017
摘要： 本发明公开了一种数据分发及并行处理方法和系统，所述方法包括：对初始查询指令进行解析，得到真实查询指令；将真实查询指令通过工作分配节点分发到不同的数据节点中；在每个数据节点上分别执行接收到的真实查询指令，并将查询结果返回给工作分配节点，同时在每个服务器节点上保持数据信息表的更新；在每个服务器节点上，对所述真实查询指令对应的查询表进行备份，使得每个服务器节点上保存有查询表副本；在每个服务器节点上，当检测到存在并发冲突时，通过调用当前服务器节点上的查询表副本对真实查询指令并发执行。所述数据分发及并行处理方法及系统不仅能够保证数据的一致性而且能够提高数据查询的速度和效率。
-
公开(公告)号：CN107515899A
公开(公告)日：2017-12-26
申请号：CN201710604810.1
申请日：2017-07-24
申请人： 北京国电通网络技术有限公司 , 国家电网公司 , 国网北京市电力公司 , 北京中电飞华通信股份有限公司 , 国网信息通信产业集团有限公司
IPC分类号： G06F17/30
摘要： 本发明公开了一种数据库联合分片方法、装置以及存储介质，涉及数据仓库技术领域，其中的方法包括：计算连接条件包含的维表的选择谓词字段参与连接查询操作的维表字段查询频率；计算在维表与事实表进行连接查询操作时，事实表符合包含有选择谓词字段的连接条件的平均记录数；根据维表字段查询频率和平均记录数确定需要分片的维表，将需要分片的维表以及事实表进行联合分片。本发明的方法、装置以及存储介质，实现了根据工作负载特点、以及分片数量限制，自动选择部分维表，进行维表和事实表的联合分片；并且采用排序的方法，减少了算法的计算量，同时保证连接操作的代价最小化。
-
公开(公告)号：CN105245314A
公开(公告)日：2016-01-13
申请号：CN201510685199.0
申请日：2015-10-20
申请人： 北京国电通网络技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 北京中电飞华通信股份有限公司 , 清华大学 , 北京万里开源软件有限公司
IPC分类号： H04L1/00
CPC分类号： H04L1/0009 , H04L1/0057
摘要： 本发明公开了一种分布式存储系统中的混合冗余容错编解码方法包括：判断当前输出网络状况的好坏；若当前输出网络状况良好，采用Reed-Solomen纠删码编码方式对数据进行编码；若当前输出网络状况不好，则采用非线性自修复码编码方式；对采用不同编码方式编码得到的数据，采用相对应的解码方式对数据进行解码。本发明还公开了一种分布式存储系统中的混合冗余容错编解码系统，包括：判断网络状况模块，Reed-Solomen纠删码编解码模块，非线性自修复码编解码模块。本发明提供的分布式存储系统中的混合冗余容错编解码方法和系统，根据不同网络状况采取不同的容错方式，降低对存储和网络带宽的要求，通过解决少量编码信息重构问题，较大程度降低丢包导致的数据重组困难。
-
公开(公告)号：CN106817256B
公开(公告)日：2020-10-27
申请号：CN201710016696.0
申请日：2017-01-10
申请人： 北京中电普华信息技术有限公司 , 国家电网有限公司 , 国网浙江省电力有限公司 , 北京中电飞华通信股份有限公司 , 国网信息通信产业集团有限公司 , 国网冀北电力有限公司
IPC分类号： H04L12/24
摘要： 本发明公开了一种分布式系统网络资源的运维管理可靠性提升方法，包括根据资源的使用情况与深度神经网络的学习经验对接收到的任务进行映射；根据所述深度神经网络的计算代价调整所述映射中任务权重的个数；对所有任务均执行上述操作并更新所述深度神经网络的输出权重。本发明能够在面对难以预测的复杂场景下，能够既不提高计算复杂度，又能够自适应的在问题空间中找到最优解决方案。
-
公开(公告)号：CN106776680A
公开(公告)日：2017-05-31
申请号：CN201610963368.7
申请日：2016-11-04
申请人： 国网浙江省电力公司 , 北京国电通网络技术有限公司 , 国网信息通信产业集团有限公司
IPC分类号： G06F17/30
CPC分类号： G06F16/275
摘要： 本发明公开了一种分布式流数据的采集方法，包括：步骤1：Source接收Events或通过特殊机制产生Events，并将Events批量的放到一个或多个Channels；步骤2：Channel接收缓存Source输出Events，而当有Sink消费掉Channel中的数据Channel中的数据直到进入到下一个Channel中或者进入终端才会被删除；步骤3：Sink将events传输到下一跳或最终目的，成功完成后将events从channel移除，Sink会消费Channel中的数据，然后送给外部源或者其他Source。本发明的分布式流数据的采集方法，解决了关系库和大数据平台的数据复制问题，提高实时性和复制性能。
-
公开(公告)号：CN106855805A
公开(公告)日：2017-06-16
申请号：CN201610963367.2
申请日：2016-11-04
申请人： 国网浙江省电力公司 , 北京国电通网络技术有限公司 , 国网信息通信产业集团有限公司
CPC分类号： G06F8/20 , G06F9/44505
摘要： 本发明公开了一种大数据的流处理方法，属于大数据应用领域，具体包括：当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序，第一个阶段是启动ApplicationMaster；第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。本发明的大数据的流处理方，具有高可靠性、高扩展性、高效性和高容错性。
-
公开(公告)号：CN106855877A
公开(公告)日：2017-06-16
申请号：CN201610963366.8
申请日：2016-11-04
申请人： 国网浙江省电力公司 , 北京国电通网络技术有限公司 , 国网信息通信产业集团有限公司
IPC分类号： G06F17/30
摘要： 本发明公开了一种大数据的同步复制的方法，基于Tungsten Repilicator的同步复制架构，包括：步骤1：在MySQL中打开BinLog，开启行级变更日志；步骤2：通过抽取变更信息，过滤原始数据，并存入THL中，并采集主键信息；步骤3：读取THL信息，并将其写入到批量的character‑separated格式文件中；步骤4：对当前的数据及发生数据变更的信息进行合并归集，形成数据视图。本发明的大数据的同步复制的方法，解决了大数据平台的数据复制问题，提高实时性和复制性能。
-
公开(公告)号：CN106682066A
公开(公告)日：2017-05-17
申请号：CN201610973411.8
申请日：2016-11-04
申请人： 国网浙江省电力公司 , 北京国电通网络技术有限公司 , 国网信息通信产业集团有限公司
IPC分类号： G06F17/30
CPC分类号： G06F16/284 , G06F16/275
摘要： 本发明公开了一种开源关系型数据的同步采集方法，包括：在MySQL中打开BinLog，开启行级变更日志；通过Host1的Tungsten Replicator标准采集器抽取BinLog的变更信息，并通过Tungsten Replicator中的colname过滤器过滤原始数据；从节点Host2d Tungsten Replicator远程读取THL信息，并将其写入到批量的character‑separated格式文件中；通过Tungsten Replicator在大数据平台存入基于行级的CSV文件信息后，可以通过调用大数据平台的CSV组件、MapReduce组件等模块对当前的CSV数据及发生数据变更的信息进行合并归集，形成数据视图，数据视图使用了自定义的特殊格式。可以在不同的数据库版本、异构库进行数据交换，且在数据交换过程中，可以对数据进行过滤和修改。
-
-
-
-
-
-
-
-
-
搜索结果
79 条记录 (耗时 0.122 秒)
