-
公开(公告)号：CN106682066A
公开(公告)日：2017-05-17
申请号：CN201610973411.8
申请日：2016-11-04
申请人： 国网浙江省电力公司 , 北京国电通网络技术有限公司 , 国网信息通信产业集团有限公司
IPC分类号： G06F17/30
CPC分类号： G06F16/284 , G06F16/275
摘要： 本发明公开了一种开源关系型数据的同步采集方法，包括：在MySQL中打开BinLog，开启行级变更日志；通过Host1的Tungsten Replicator标准采集器抽取BinLog的变更信息，并通过Tungsten Replicator中的colname过滤器过滤原始数据；从节点Host2d Tungsten Replicator远程读取THL信息，并将其写入到批量的character‑separated格式文件中；通过Tungsten Replicator在大数据平台存入基于行级的CSV文件信息后，可以通过调用大数据平台的CSV组件、MapReduce组件等模块对当前的CSV数据及发生数据变更的信息进行合并归集，形成数据视图，数据视图使用了自定义的特殊格式。可以在不同的数据库版本、异构库进行数据交换，且在数据交换过程中，可以对数据进行过滤和修改。
-
公开(公告)号：CN106855877A
公开(公告)日：2017-06-16
申请号：CN201610963366.8
申请日：2016-11-04
申请人： 国网浙江省电力公司 , 北京国电通网络技术有限公司 , 国网信息通信产业集团有限公司
IPC分类号： G06F17/30
摘要： 本发明公开了一种大数据的同步复制的方法，基于Tungsten Repilicator的同步复制架构，包括：步骤1：在MySQL中打开BinLog，开启行级变更日志；步骤2：通过抽取变更信息，过滤原始数据，并存入THL中，并采集主键信息；步骤3：读取THL信息，并将其写入到批量的character‑separated格式文件中；步骤4：对当前的数据及发生数据变更的信息进行合并归集，形成数据视图。本发明的大数据的同步复制的方法，解决了大数据平台的数据复制问题，提高实时性和复制性能。
-
公开(公告)号：CN106776680A
公开(公告)日：2017-05-31
申请号：CN201610963368.7
申请日：2016-11-04
申请人： 国网浙江省电力公司 , 北京国电通网络技术有限公司 , 国网信息通信产业集团有限公司
IPC分类号： G06F17/30
CPC分类号： G06F16/275
摘要： 本发明公开了一种分布式流数据的采集方法，包括：步骤1：Source接收Events或通过特殊机制产生Events，并将Events批量的放到一个或多个Channels；步骤2：Channel接收缓存Source输出Events，而当有Sink消费掉Channel中的数据Channel中的数据直到进入到下一个Channel中或者进入终端才会被删除；步骤3：Sink将events传输到下一跳或最终目的，成功完成后将events从channel移除，Sink会消费Channel中的数据，然后送给外部源或者其他Source。本发明的分布式流数据的采集方法，解决了关系库和大数据平台的数据复制问题，提高实时性和复制性能。
-
公开(公告)号：CN106817256A
公开(公告)日：2017-06-09
申请号：CN201710016696.0
申请日：2017-01-10
申请人： 北京国电通网络技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 北京中电飞华通信股份有限公司 , 国网信息通信产业集团有限公司 , 国网冀北电力有限公司
IPC分类号： H04L12/24
CPC分类号： H04L41/06 , H04L41/5096
摘要： 本发明公开了一种分布式系统网络资源的运维管理可靠性提升方法，包括根据资源的使用情况与深度神经网络的学习经验对接收到的任务进行映射；根据所述深度神经网络的计算代价调整所述映射中任务权重的个数；对所有任务均执行上述操作并更新所述深度神经网络的输出权重。本发明能够在面对难以预测的复杂场景下，能够既不提高计算复杂度，又能够自适应的在问题空间中找到最优解决方案。
-
公开(公告)号：CN106855805A
公开(公告)日：2017-06-16
申请号：CN201610963367.2
申请日：2016-11-04
申请人： 国网浙江省电力公司 , 北京国电通网络技术有限公司 , 国网信息通信产业集团有限公司
CPC分类号： G06F8/20 , G06F9/44505
摘要： 本发明公开了一种大数据的流处理方法，属于大数据应用领域，具体包括：当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序，第一个阶段是启动ApplicationMaster；第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。本发明的大数据的流处理方，具有高可靠性、高扩展性、高效性和高容错性。
-
公开(公告)号：CN118733650A
公开(公告)日：2024-10-01
申请号：CN202410633318.7
申请日：2024-05-21
IPC分类号： G06F16/25 , G06F16/242 , G06F16/22
摘要： 本申请提供一种数据库存储过程转换方法、装置、电子设备及存储介质，获取与待转换数据库对应的存储过程数据，以及与存储过程数据对应的词法规则和语法规则，然后利用词法规则对存储过程数据进行字符识别，得到字符识别结果，通过语法规则将字符识别结果进行语法组合，生成语法树，本申请通过词法规则和语法规则的方式直接实现了对于存储过程的解析，无需生成中间语法，然后根据预设的语言映射数据库将语法树直接转换为可执行的目标程序语言，避免异构数据库之间存储过程的迁移，降低了异构数据库之间的迁移难度，从而提高了转换速度。
-
公开(公告)号：CN117131021A
公开(公告)日：2023-11-28
申请号：CN202311234692.1
申请日：2023-09-22
申请人： 国网信息通信产业集团有限公司 , 华北电力大学 , 国网浙江省电力有限公司信息通信分公司 , 国网湖北省电力有限公司
摘要： 本发明公开了属于数据库迁移技术领域的一种面向百亿级数据的分片迁移方法。该方法具体如下：将要迁移的源数据表切分成若干个数据切片，将数据切片中的数据由源数据表迁移至目标数据表，当某条或某个分片数据迁移失败，对其进行可定制的分片断点续迁。本发明能够保证源数据库数据与目的数据库数据高度一致；而且具有可持续性，保证异常发生前数据迁移的有效性，异常处理后继续迁移后续数据。
-
公开(公告)号：CN118550814A
公开(公告)日：2024-08-27
申请号：CN202410477492.7
申请日：2024-04-19
摘要： 本申请提供一种数据库测试方法、系统、电子设备及存储介质。所述方法应用于数据库测试系统，所述数据库测试系统包括：数据微服务单元、原数据库和测试数据库，所述数据微服务单元包括录制模块、回放模块；所述录制模块和所述回放模块分别通过录制插件和回放插件加入所述数据库测试系统；所述方法包括：所述录制模块根据预设的流量数据录制要求对所述原数据库的流量数据进行录制；所述回放模块在所述测试数据库回放所述流量数据，得到测试数据；所述测试数据用于指示所述测试数据库的性能测试结果和功能测试结果。通过本申请可以提高录制和回放工具的灵活性，提高通用性，且可以应对超大规模级别流量数据挑战。
-
公开(公告)号：CN117668110A
公开(公告)日：2024-03-08
申请号：CN202311617240.1
申请日：2023-11-29
申请人： 北京中电普华信息技术有限公司 , 国网信息通信产业集团有限公司 , 华北电力大学 , 国网浙江省电力有限公司信息通信分公司 , 国家电网有限公司
IPC分类号： G06F16/27 , G06F16/242
摘要： 本发明公开了属于数据库技术领域的一种数据同步复制方法。具体包括：监听微服务数据访问请求；针对数据库同步请求生成其同步策略，并根据同步策略生成同步日志文件；接收解析同步日志文件并发送给SQL翻译中间件；生成目标国产数据库适配的SQL，并发送给目标国产数据库执行。本发明能够实现数据更新时主动复制数据到多个“使用处”，支撑对营销数据的单向复制、广播复制、热备复制等数据同步方式，避免了频繁查询和访问原始数据库，减少了系统负载，从而提高了系统性能和稳定性。
-
公开(公告)号：CN117216127A
公开(公告)日：2023-12-12
申请号：CN202311184843.7
申请日：2023-09-14
IPC分类号： G06F16/2458 , G06F16/27 , G06F16/248 , G06F16/22 , G06F21/62
摘要： 本申请公开了一种访问分布式数据库的方法、系统、设备及介质。在上述方法中，应用于数据库访问组件，第一数据库访问组件和第二数据库访问组件属于数据库访问组件，首先通过第一数据库访问组件接收前端应用发送的访问请求之后，根据访问请求中的数据库标识，查询到第二数据库访问组件，将访问请求发送至第二数据库访问组件，以使第二数据库访问组件访问目标分布式数据库并获得访问结果，最后接收第二数据库访问组件发送的访问结果。在此过程中，通过第一数据库访问组件，分配访问请求至第二数据库访问组件，以使第二数据库访问组件根据访问请求访问目标分布式数据库，从而提高数字化系统的响应效率，可以使得数字化系统并行处理业务。
-
-
-
-
-
-
-
-
-
搜索结果
30 条记录 (耗时 0.128 秒)
