-
公开(公告)号：CN114385728B
公开(公告)日：2024-07-19
申请号：CN202111532519.0
申请日：2021-12-15
申请人： 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC分类号： G06F16/25
摘要： 本发明公开了一种基于数据转换整合的实时数据处理方法，包括以下步骤：首先确定熟悉所需对接消息中间件的软件特性，制定数据转换整合系统集成此中间件的方案；适配抽取插件和加载插件并且使插件适应流式实时传输处理数据；定制消息确认插件，增加容错能力。本发明为数据转换整合系统提供了一种可行有效的实时数据处理方法；本发明可适配市场上多种不同的消息中间件；本发明提供了消息确认机制，由于异常未被确认的消息可重新消费处理，使用此方法保证了数据的完整性、可靠性。
-
公开(公告)号：CN111061788A
公开(公告)日：2020-04-24
申请号：CN201911172900.3
申请日：2019-11-26
申请人： 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
摘要： 本发明公开了一种基于云架构的多源异构数据转换整合系统及其实现方法，该系统包括开发模块、管理监控模块、调度服模块、资源数据库、文件传输组件、消息传输组件和跨域路由服务模块。本发明基于SG-ETL数据转换整合工具实现对各类数据源的支持，包括各类关系型数据库、数据文件、大数据平台组件等，实现数据源到目标端的数据转换整合功能开发，以图形化的方式完成ETL流程配置开发工作，实现对海量数据转换作业的调度与监控。
-
公开(公告)号：CN117633076A
公开(公告)日：2024-03-01
申请号：CN202311605999.8
申请日：2023-11-29
申请人： 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC分类号： G06F16/25 , G06F16/22 , G06F16/215
摘要： 本发明公开了一种基于数据转换整合的任务作业方法及系统，数据转换整合系统运行的单元为任务，通过任务对数据进行抽取、清洗、转换、装载，任务的最小单元为任务步骤，每个任务步骤都拥有相对独立的数据处理功能，如抽取、清洗、转换、装载等，多个相对独立功能的任务步骤组合成为一个具有业务含义的任务。本发明灵活高效地提高了传统数据转换整合系统数据处理能力，实现了在复杂数据环境下，满足多源异构数据之间的高效、灵活、高可靠的高效集成需求。
-
公开(公告)号：CN114422165A
公开(公告)日：2022-04-29
申请号：CN202111440386.4
申请日：2021-11-30
申请人： 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC分类号： H04L9/40
摘要： 本发明公开了一种过SQL代理安全隔离装置的服务穿透方法及系统，包括1、外网系统发起请求，数据写入请求队列；2、请求队列屏蔽并发，将结构化数据写入网闸支持的中间库；3、后置代理服务批量读取请求数据；4、线程池解析请求数据，创建请求线程，并发对内网数据中台目标服务发起请求；5、请求结果放入响应队列，屏蔽并发，将数据写入中间库；6、前置代理服务单线程高频轮询中间库，批量读取响应数据到MAP；7、请求队列从MAP获取响应数据反馈给外网业务系统。本发明支撑内外网多种服务类型的快捷交互，解决应用间内外网业务服务安全交互问题，实现内外网业务实时交互更好地支撑基于数据中台的内外网服务贯通。
-
公开(公告)号：CN111061788B
公开(公告)日：2023-10-13
申请号：CN201911172900.3
申请日：2019-11-26
申请人： 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
摘要： 本发明公开了一种基于云架构的多源异构数据转换整合系统及其实现方法，该系统包括开发模块、管理监控模块、调度服模块、资源数据库、文件传输组件、消息传输组件和跨域路由服务模块。本发明基于SG‑ETL数据转换整合工具实现对各类数据源的支持，包括各类关系型数据库、数据文件、大数据平台组件等，实现数据源到目标端的数据转换整合功能开发，以图形化的方式完成ETL流程配置开发工作，实现对海量数据转换作业的调度与监控。
-
公开(公告)号：CN114385728A
公开(公告)日：2022-04-22
申请号：CN202111532519.0
申请日：2021-12-15
申请人： 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC分类号： G06F16/25
摘要： 本发明公开了一种基于数据转换整合的实时数据处理方法，包括以下步骤：首先确定熟悉所需对接消息中间件的软件特性，制定数据转换整合系统集成此中间件的方案；适配抽取插件和加载插件并且使插件适应流式实时传输处理数据；定制消息确认插件，增加容错能力。本发明为数据转换整合系统提供了一种可行有效的实时数据处理方法；本发明可适配市场上多种不同的消息中间件；本发明提供了消息确认机制，由于异常未被确认的消息可重新消费处理，使用此方法保证了数据的完整性、可靠性。
-
公开(公告)号：CN111625216A
公开(公告)日：2020-09-04
申请号：CN202010352982.6
申请日：2020-04-29
申请人： 江苏瑞中数据股份有限公司 , 国网电力科学研究院有限公司
摘要： 本发明公开了一种基于数据转换整合系统的插件实现方法。本发明属于分布式数据转换整合系统任务插件的优化技术领域。本发明实现了可在广域复杂网络和数据环境下，满足多源异构数据高效集成需求，提供弹性伸缩、高性能、高可靠的数据运行处理机制；作为上层系统的数据转换整合系统在统一数据中心及大数据平台的重要底层支撑部件起到重要作用，还可以实现对数据的联机分析处理、数据挖掘功能。
-
公开(公告)号：CN118377773A
公开(公告)日：2024-07-23
申请号：CN202311742562.9
申请日：2023-12-18
申请人： 南京南瑞瑞中数据股份有限公司 , 南瑞集团有限公司
IPC分类号： G06F16/215 , G06F16/27 , G06F16/23 , G06F16/18
摘要： 本发明公开了一种基于增量复制的异构数据库一致性检测方法、装置及介质，记录数据库库当前日志位置，并在增量流中插入开始标记；使用分块键进行分块，获得分块数据集，并记录数据库日志位置；捕获开始标记与结束标记之间的增量流数据形成增量数据集；求取增量数据集和分块数据集的交集移除，得到静态分块数据集；获取静态分块数据集的摘要；恢复增量流，并将静态数据校验包添加到增量流结束标志后；对分块数据集序列区间内的数据进行查询，获取目标端分块数据集；接收到结束标记后，暂停增量流的写入；在目标端，对比源端侧静态分块数据库摘要与目标端静态分块数据库摘要，实现数据不一致性检测；本发明能提升增量复制过程数据质量。
-
-
-
-
-
-
-
搜索结果
8 条记录 (耗时 0.033 秒)
