-
公开(公告)号:CN107436938A
公开(公告)日:2017-12-05
申请号:CN201710622151.4
申请日:2017-07-27
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网江苏省电力公司电力科学研究院
IPC分类号: G06F17/30
摘要: 本发明公开一种关系数据库前映像的附加日志解析方法:(1)获取数据库版本信息、解析前映像的change第四块中的KDO数据,提取其中的操作码;(2)根据不同的操作码采用不同的解析方式,获取附加日志数据块编号;(3)根据附加日志结构,获取附加日志内部的主键列数据;(4)将获取的主键列数据依次添加到改变列数据中。本发明可以依据主键精确定位变化数据的行号,同时不会影响数据库自身性能。
-
公开(公告)号:CN107301250B
公开(公告)日:2020-06-26
申请号:CN201710622136.X
申请日:2017-07-27
申请人: 南京南瑞集团公司 , 国网江苏省电力公司电力科学研究院 , 国家电网公司
摘要: 本发明公开了一种多源数据库协同备份方法,包括以下几个步骤:(1)在各节点数据库创建用于记录坐标点的表,并创建全局事务坐标点,用于保证各数据库到达这一全局事务坐标点之前的逻辑一致性,然后,对Master Node数据库需要保持数据逻辑一致的表添加锁;(2)搭建数据库集群,并在集群中设置备份的Slave Node,根据全局事务坐标点在Slave Node中查找需要备份内容;(3)启动备份进程对Slave Node数据库中数据进行备份;(4)进行数据恢复操作,由存储端将备份文件存储的数据内容恢复到生产数据库内。本发明提高了数据库系统备份效率,资源利用率,提高了数据库的安全性,降低了运维成本。
-
公开(公告)号:CN107506260B
公开(公告)日:2019-11-05
申请号:CN201710622128.5
申请日:2017-07-27
申请人: 南京南瑞集团公司 , 国网江苏省电力公司电力科学研究院 , 国家电网公司
摘要: 本发明公开了一种动态分块数据库增量备份方法,包括以下几个步骤:(1)获取数据库系统的历史备份信息;(2)根据数据库的备份日志,分析数据库历史备份情况与增量备份数据库分块情况;(3)通过以上分析,建立数据库增量备份分块策略表;(4)利用数据库增量备份分块策略表对待备份数据库文件进行分块,使用DIFF算法计算待备份的文件块的增量备份;(5)把累积的DIFF算法计算得到的增量备份转化成合成备份。通过本发明的方法不但可以快速构建出数据库增量备份分块方法,还能利用合适的分块粒度降低数据库DIFF算法的执行时间,加快数据库备份增量备份的速度。
-
公开(公告)号:CN107506260A
公开(公告)日:2017-12-22
申请号:CN201710622128.5
申请日:2017-07-27
申请人: 南京南瑞集团公司 , 国网江苏省电力公司电力科学研究院 , 国家电网公司
摘要: 本发明公开了一种动态分块数据库增量备份方法,包括以下几个步骤:(1)获取数据库系统的历史备份信息;(2)根据数据库的备份日志,分析数据库历史备份情况与增量备份数据库分块情况;(3)通过以上分析,建立数据库增量备份分块策略表;(4)利用数据库增量备份分块策略表对待备份数据库文件进行分块,使用DIFF算法计算待备份的文件块的增量备份;(5)把累积的DIFF算法计算得到的增量备份转化成合成备份。通过本发明的方法不但可以快速构建出数据库增量备份分块方法,还能利用合适的分块粒度降低数据库DIFF算法的执行时间,加快数据库备份增量备份的速度。
-
公开(公告)号:CN107391306B
公开(公告)日:2019-12-10
申请号:CN201710622124.7
申请日:2017-07-27
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网江苏省电力公司电力科学研究院
IPC分类号: G06F11/14
摘要: 本发明公开了一种异构数据库备份文件恢复方法,包括:对异构源数据库中数据归一转化;采用K‑medoids聚类的DELTA压缩算法,对数据块进行聚类预处理,将相似度较高的数据块分为一类;利用DELTA压缩算法对同一类数据块进行压缩;基于“SQL重现法”对数据还原,根据配置文件读取还原端数据库版本,根据转化规则将元数据模型转化为对应版本数据库支持的SQL语句,进行数据一致性检测后导入数据库,实现异构数据库的稳定备份与恢复功能。本发明通过映射规则的扩充可支持多种源数据库,实现异构数据库的备份,并支持高效率的文件压缩,降低备份成本。
-
公开(公告)号:CN107391306A
公开(公告)日:2017-11-24
申请号:CN201710622124.7
申请日:2017-07-27
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网江苏省电力公司电力科学研究院
IPC分类号: G06F11/14
摘要: 本发明公开了一种异构数据库备份文件恢复方法,包括:对异构源数据库中数据归一转化;采用K-medoids聚类的DELTA压缩算法,对数据块进行聚类预处理,将相似度较高的数据块分为一类;利用DELTA压缩算法对同一类数据块进行压缩;基于“SQL重现法”对数据还原,根据配置文件读取还原端数据库版本,根据转化规则将元数据模型转化为对应版本数据库支持的SQL语句,进行数据一致性检测后导入数据库,实现异构数据库的稳定备份与恢复功能。本发明通过映射规则的扩充可支持多种源数据库,实现异构数据库的备份,并支持高效率的文件压缩,降低备份成本。
-
公开(公告)号:CN107436938B
公开(公告)日:2019-11-05
申请号:CN201710622151.4
申请日:2017-07-27
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网江苏省电力公司电力科学研究院
摘要: 本发明公开一种关系数据库前映像的附加日志解析方法:(1)获取数据库版本信息、解析前映像的change第四块中的KDO数据,提取其中的操作码;(2)根据不同的操作码采用不同的解析方式,获取附加日志数据块编号;(3)根据附加日志结构,获取附加日志内部的主键列数据;(4)将获取的主键列数据依次添加到改变列数据中。本发明可以依据主键精确定位变化数据的行号,同时不会影响数据库自身性能。
-
公开(公告)号:CN107301250A
公开(公告)日:2017-10-27
申请号:CN201710622136.X
申请日:2017-07-27
申请人: 南京南瑞集团公司 , 国网江苏省电力公司电力科学研究院 , 国家电网公司
摘要: 本发明公开了一种多源数据库协同备份方法,包括以下几个步骤:(1)在各节点数据库创建用于记录坐标点的表,并创建全局事务坐标点,用于保证各数据库到达这一全局事务坐标点之前的逻辑一致性,然后,对Master Node数据库需要保持数据逻辑一致的表添加锁;(2)搭建数据库集群,并在集群中设置备份的Slave Node,根据全局事务坐标点在Slave Node中查找需要备份内容;(3)启动备份进程对Slave Node数据库中数据进行备份;(4)进行数据恢复操作,由存储端将备份文件存储的数据内容恢复到生产数据库内。本发明提高了数据库系统备份效率,资源利用率,提高了数据库的安全性,降低了运维成本。
-
公开(公告)号:CN105677876B
公开(公告)日:2018-04-03
申请号:CN201610016313.5
申请日:2016-01-12
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网上海市电力公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于物理级的数据库日志挖掘方法,包括以下几个步骤:(1)获取数据库系统数据块大小、在线日志全路径名、日志存储文件系统格式;(2)从数据库系统视图中获取当前日志组信息,获取操作信息;(3)挖掘日志文件头信息,从日志文件头中获取当前的日志序列;(4)挖掘日志文件头后的数据块,每次挖掘固定大小数据并记录当前挖掘的截止位置索引,将数据块内容写入新建的临时文件;(5)当遇到文件头的结束标志时,则在数据块临时文件写入结束标志,结束当前文件挖掘,开始下一日志文件挖掘。本发明可以从根本上实现挖掘出的日志信息与生产库的一致性与完整性,还能降低数据库日志挖掘对生产库的性能影响。
-
公开(公告)号:CN105677876A
公开(公告)日:2016-06-15
申请号:CN201610016313.5
申请日:2016-01-12
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网上海市电力公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于物理级的数据库日志挖掘方法,包括以下几个步骤:(1)获取数据库系统数据块大小、在线日志全路径名、日志存储文件系统格式;(2)从数据库系统视图中获取当前日志组信息,获取操作信息;(3)挖掘日志文件头信息,从日志文件头中获取当前的日志序列;(4)挖掘日志文件头后的数据块,每次挖掘固定大小数据并记录当前挖掘的截止位置索引,将数据块内容写入新建的临时文件;(5)当遇到文件头的结束标志时,则在数据块临时文件写入结束标志,结束当前文件挖掘,开始下一日志文件挖掘。本发明可以从根本上实现挖掘出的日志信息与生产库的一致性与完整性,还能降低数据库日志挖掘对生产库的性能影响。
-
-
-
-
-
-
-
-
-