一种钢厂多源环境数据融合的方法

    公开(公告)号:CN112231313A

    公开(公告)日:2021-01-15

    申请号:CN202011222199.4

    申请日:2020-11-05

    摘要: 本发明公开了一种钢厂多源环境数据融合的方法,包括以下步骤:S1:对钢厂内多源环境数据进行采集,并存储进源数据库;所述多源环境数据包括钢厂生产排放监测数据、钢厂生产数据和钢厂当中的物流数据;S2:对采集到的多源环境数据进行预处理,预处理包括对数据的格式、时间及属性进行统一的分类;S3:将经过预处理的数据进行关联,得到关联矩阵;S4:基于BP神经网络方法,将关联得到的环境数据与钢厂生产数据进行融合。本发明通过大数据技术实现多源的环境数据融合,解决钢厂内环境数据来源广泛、复杂与数据异构问题,为一小时内钢厂生产及空气质量预测提供数据支撑。

    一种基于Apache Flink的ETL数据处理系统及方法

    公开(公告)号:CN115757597A

    公开(公告)日:2023-03-07

    申请号:CN202211675433.8

    申请日:2022-12-26

    IPC分类号: G06F16/25 G06F16/245

    摘要: 本发明提供了一种基于Apache Flink的ETL数据处理系统及方法,系统包括数据源组件配置服务模块、数据转换组件配置服务模块、ETL任务配置服务模块、ETL任务解析器和ETL任务监控服务模块;数据源组件配置服务模块用于对不同类型的数据源组件进行配置,数据转换组件配置服务模块用于对不同类型的数据转换组件进行配置,ETL任务配置服务模块用于配置ETL任务所需要的数据源组件和数据转换组件及转换流程;ETL任务解析器用于对待执行的ETL任务进行解析并将解析后的任务信息发送给远程集群运行;ETL任务监控服务模块用于对远程集群的ETL任务运行状态进行监控。本发明支持连接多种异构数据源并以数据流的形式在系统中传递,提供对数据流进行数据转换的操作。

    一种基于zeppelin的交互式分析系统

    公开(公告)号:CN114780178A

    公开(公告)日:2022-07-22

    申请号:CN202210459346.2

    申请日:2022-04-27

    摘要: 本发明公开了一种基于zeppelin的交互式分析系统,涉及计算机大数据分技术领域。包括自下而上的zeppelin interpreter、zeppelin server、外围模块和浏览器端,所述zeppelin interpreter为zeppelin处理交互式分析任务时用到的对应任务语言的解析器,所述zeppelin server为管理zeppelin interpreter的处理器,以及调度交互式分析任务、分配资源的中央管理器,所述外围模块对开源组件apache zeppelin进行封装,所述浏览器端用于登录访问所述外围模块。该基于zeppelin的交互式分析系统,工作区管理模块使用户可以管理自己的笔记本单元,统一管理笔记本;任务管理模块使用户可以更加方便地管理任务,便于用户进行任务的编写、运行或停止。