- 专利标题: 一种面向安全监测业务分析的ETL框架设计方法
- 专利标题(英): ETL (Extract Transform and Load) framework design method for safety monitoring business analysis
-
申请号: CN201510363351.3申请日: 2015-06-26
-
公开(公告)号: CN104933160A公开(公告)日: 2015-09-23
- 发明人: 毛莺池 , 贾必聪 , 艾永平 , 易魁 , 许峰 , 肖海斌 , 周晓峰 , 王龙宝 , 邱小弟 , 卢吉 , 陈豪 , 李然 , 周健 , 李洪波 , 张鹏
- 申请人: 河海大学 , 华能澜沧江水电股份有限公司
- 申请人地址: 江苏省南京市江宁区佛城西路8号
- 专利权人: 河海大学,华能澜沧江水电股份有限公司
- 当前专利权人: 河海大学,华能澜沧江水电股份有限公司
- 当前专利权人地址: 江苏省南京市江宁区佛城西路8号
- 代理机构: 南京苏高专利商标事务所
- 代理商 李玉平
- 主分类号: G06F17/30
- IPC分类号: G06F17/30
摘要:
本发明公开了一种面向安全监测业务分析的ETL框架设计方法,包括数据抽取、数据转换和数据加载。数据抽取是指从多个异构数据源中获取源数据,通过使用XML适配器确认数据源和使用时间戳进行增量抽取完成;数据转换过程是连接数据抽取过程与数据加载过程的纽带,在该过程中使用“数据处理引擎”和“Redis存储引擎”两个组件进行数据转换;数据加载中,数据的加载主要为最初加载和增量装载两种装载类型,最初加载主要利用“批量加载引擎”进行处理,增量装载则使用“批量加载引擎”和“实时加载引擎”结合的方式进行处理。本发明可以实现异构数据的高度统一,为后续的决策支持工作打下基础。
公开/授权文献
- CN104933160B 一种面向安全监测业务分析的ETL框架设计方法 公开/授权日:2019-06-28