-
公开(公告)号：CN117992257A
公开(公告)日：2024-05-07
申请号：CN202410405920.5
申请日：2024-04-07
Applicant: 天津南大通用数据技术股份有限公司
Inventor： 谷裕
Abstract: 本发明提供了一种分布式数据库并行数据采集处理方法，包括：将每个数据节点内的数据库日志发送至日志消息队列组件，并在数据库日志中插入全局标识；事务信息提取组件从日志消息队列组件的数据库日志中获取相应的全局标识，并将全局标识的信息写入事务消息队列；事务位面控制器从事务消息队列中读取全局标识，并从日志消息队列组件获取提交不晚于当前全局标识的数据库日志；数据处理模块并行处理每个事务消息队列上的日志，将结果并行输出给数据采集者。本发明有益效果：有效提升系统的性能、实时性、可扩展性和可靠性，为分布式数据库的并行数据采集处理提供了有力支持。
-
公开(公告)号：CN117632991B
公开(公告)日：2024-05-03
申请号：CN202410108868.7
申请日：2024-01-26
Applicant: 天津南大通用数据技术股份有限公司
Inventor： 谷裕
IPC: G06F16/23 , G06F16/2457
Abstract: 本发明提供了一种数据库变更数据采集的方法及系统，包括：数据库处理事务日志，提取事务元信息，并按配置输出记录变更信息；日志传输器按照事务标识将记录归类，并根据事务类型执行相应的操作；数据采集者从消息队列读取已提交事务记录。本发明有益效果：对数据采集者保证了记录变更的事务性，解决了长事务、大事务带来的性能问题，大大提高数据库的性能和可靠性，提升数据库的使用体验。
-
公开(公告)号：CN117632991A
公开(公告)日：2024-03-01
申请号：CN202410108868.7
申请日：2024-01-26
Applicant: 天津南大通用数据技术股份有限公司
Inventor： 谷裕
IPC: G06F16/23 , G06F16/2457
Abstract: 本发明提供了一种数据库变更数据采集的方法及系统，包括：数据库处理事务日志，提取事务元信息，并按配置输出记录变更信息；日志传输器按照事务标识将记录归类，并根据事务类型执行相应的操作；数据采集者从消息队列读取已提交事务记录。本发明有益效果：对数据采集者保证了记录变更的事务性，解决了长事务、大事务带来的性能问题，大大提高数据库的性能和可靠性，提升数据库的使用体验。
-
公开(公告)号：CN117992257B
公开(公告)日：2024-06-18
申请号：CN202410405920.5
申请日：2024-04-07
Applicant: 天津南大通用数据技术股份有限公司
Inventor： 谷裕
Abstract: 本发明提供了一种分布式数据库并行数据采集处理方法，包括：将每个数据节点内的数据库日志发送至日志消息队列组件，并在数据库日志中插入全局标识；事务信息提取组件从日志消息队列组件的数据库日志中获取相应的全局标识，并将全局标识的信息写入事务消息队列；事务位面控制器从事务消息队列中读取全局标识，并从日志消息队列组件获取提交不晚于当前全局标识的数据库日志；数据处理模块并行处理每个事务消息队列上的日志，将结果并行输出给数据采集者。本发明有益效果：有效提升系统的性能、实时性、可扩展性和可靠性，为分布式数据库的并行数据采集处理提供了有力支持。
-
-
-
Search Results
4
records
(took 0.027 seconds)
