一种面向安全监测业务分析的ETL框架设计方法
摘要:
本发明公开了一种面向安全监测业务分析的ETL框架设计方法,包括数据抽取、数据转换和数据加载。数据抽取是指从多个异构数据源中获取源数据,通过使用XML适配器确认数据源和使用时间戳进行增量抽取完成;数据转换过程是连接数据抽取过程与数据加载过程的纽带,在该过程中使用“数据处理引擎”和“Redis存储引擎”两个组件进行数据转换;数据加载中,数据的加载主要为最初加载和增量装载两种装载类型,最初加载主要利用“批量加载引擎”进行处理,增量装载则使用“批量加载引擎”和“实时加载引擎”结合的方式进行处理。本发明可以实现异构数据的高度统一,为后续的决策支持工作打下基础。
公开/授权文献
0/0