公开(公告)号：CN119149612A

公开(公告)日：2024-12-17

申请号：CN202410949632.6

申请日：2024-07-16

Applicant: 成都贝斯特数码科技有限责任公司 ,  中国电力工程顾问集团西南电力设计院有限公司 ,  中能建崇左开发投资有限公司

Inventor： 罗延举 ,  刘军 ,  高艳彬 ,  何沛衡 ,  焦景云 ,  陈跃第 ,  傅强 ,  陈柱全 ,  王华明 ,  林阳 ,  钱澄浩 ,  黄永军 ,  欧阳裕洁 ,  陈伟 ,  王瑶

IPC: G06F16/25 ,  G06F16/215 ,  G06F18/2433

Abstract: 本发明公开了一种ETL过程中的数据检测方法及系统，涉及数据处理技术领域，包括利用可配置的数据转换规则对采集的源系统数据进行数据转换，并对转换后的数据进行数据加载；对所述数据转换和所述数据加载进行数据一致性检测，制定数据一致性保障机制；对ETL过程中的数据进行错误检测和异常报警。本发明提供一种可配置的数据转换规则，使系统能够适应不同的业务需求，提高了转换规则的灵活性和可扩展性，降低了维护成本；通过设计数据一致性保障机制，确保在数据转换和加载过程中数据的一致性，有效防止数据一致性错误问题；对ETL过程中的数据错误进行实时监测，并通过报警系统及时通知相关人员，提高ETL过程的稳定性和可靠性。