基于电力行业数据发布对象模型的工作流失败处理策略

    公开(公告)号:CN109525442A

    公开(公告)日:2019-03-26

    申请号:CN201811590531.5

    申请日:2018-12-25

    Abstract: 本发明公开了一种基于电力行业数据发布对象模型的工作流失败处理策略,包括:在服务端,将服务端的数据根据服务端与客户端的数据发布对象规则,将服务端的数据写入数据发布对象模型进行数据流处理;根据服务端与客户端的数据发布链路将经过流处理的数据通过数据发布对象平台下发至客户端;在客户端,将接收的流处理数据根据所述数据发布对象规则录入客户端。各个系统在数据上收/下发传输时均对数据流处理后进行数据发布,在服务端和客户端通过数据发布对象规则各自进行数据流处理。与传统方法相比,处理策略考虑了工作步骤之间的依赖关系,并且对工作步骤应用的具体实现方式进行了深层次分析,以确保全方位的对工作流的失败处理。

    基于日志解析技术的PG数据库到Hadoop平台的数据同步复制方法

    公开(公告)号:CN108228756A

    公开(公告)日:2018-06-29

    申请号:CN201711398111.2

    申请日:2017-12-21

    Abstract: 本发明属于电力系统数据库技术领域,公开了一种基于日志解析技术的PostgresSQL数据库到Hadoop平台的数据同步复制方法。本发明开启PostgresSQL数据库的逻辑复制功能,并保证最大日志发送进程数大于设定的次数,修改数据库用户设置使得能直接使用流复制协议,采用日志解析模块对所需要处理的PostgresSQL数据库的逻辑日志进行规则过滤,并按照事务完整性发送完整的数据;采用消息接收模块根据配置的接收信息,接收来自日志解析模块的数据,并按照本地规则写入到本地用于数据加载的缓存数据文件中;采用SQL适配模块读取缓存数据文件,并根据Hadoop平台的类型,转换成通用标准SQL数据语句格式,将数据加载进入Hadoop平台。本发明提高了数据库同步复制的效率。

Patent Agency Ranking