一种数据抽取、转换及装载的方法

    公开(公告)号:CN105787122A

    公开(公告)日:2016-07-20

    申请号:CN201610180936.6

    申请日:2016-03-28

    IPC分类号: G06F17/30

    CPC分类号: G06F16/254

    摘要: 一种数据抽取、转换及装载的方法,包括转换的过程步骤,数据源组装的过程步骤,规定数据流向的过程步骤,执行顺序连线的过程和指定任务设置执行条件的步骤。本发明设有两种脚本文件,转换和工作,转换完成针对数据的基础转换,工作则完成整个工作流的控制。解决大规模数据分析利用不能快速响应业务的变化、数据复用程度低、技术和业务混杂、以及分析效率和交付质量不高的问题。

    一种基于数据通道的用电信息数据高效处理方法

    公开(公告)号:CN105786945A

    公开(公告)日:2016-07-20

    申请号:CN201510993139.5

    申请日:2015-12-24

    IPC分类号: G06F17/30 H04L29/08

    摘要: 本发明公开了一种基于数据通道的用电信息数据高效处理方法,包括如下步骤:S1,基于责任区的分布式采集前置机对获取的报文信息进行解析,把解析结果发送给基于内存的数据总线;S2,数据总线按业务类型划分成若干数据通道,当收到分布式采集前置机发送来的解析结果之后,获取报文信息的业务类型,通过业务类型对应的数据通道进行业务加工,形成业务数据;S3,判断内存库中存储的业务数据是否达到存储阀值,如果没有达到,则把业务数据存储在内存库中;否则转向步骤S4;S4,把内存库中的业务数据写入关系数据库。该方法基于业务的专享的数据通道,能减少逻辑数据容量,便于信息快速检索。