一种基于Apache Flink的ETL数据处理系统及方法

    公开(公告)号:CN115757597A

    公开(公告)日:2023-03-07

    申请号:CN202211675433.8

    申请日:2022-12-26

    IPC分类号: G06F16/25 G06F16/245

    摘要: 本发明提供了一种基于Apache Flink的ETL数据处理系统及方法,系统包括数据源组件配置服务模块、数据转换组件配置服务模块、ETL任务配置服务模块、ETL任务解析器和ETL任务监控服务模块;数据源组件配置服务模块用于对不同类型的数据源组件进行配置,数据转换组件配置服务模块用于对不同类型的数据转换组件进行配置,ETL任务配置服务模块用于配置ETL任务所需要的数据源组件和数据转换组件及转换流程;ETL任务解析器用于对待执行的ETL任务进行解析并将解析后的任务信息发送给远程集群运行;ETL任务监控服务模块用于对远程集群的ETL任务运行状态进行监控。本发明支持连接多种异构数据源并以数据流的形式在系统中传递,提供对数据流进行数据转换的操作。

    一种基于zeppelin的交互式分析系统

    公开(公告)号:CN114780178A

    公开(公告)日:2022-07-22

    申请号:CN202210459346.2

    申请日:2022-04-27

    摘要: 本发明公开了一种基于zeppelin的交互式分析系统,涉及计算机大数据分技术领域。包括自下而上的zeppelin interpreter、zeppelin server、外围模块和浏览器端,所述zeppelin interpreter为zeppelin处理交互式分析任务时用到的对应任务语言的解析器,所述zeppelin server为管理zeppelin interpreter的处理器,以及调度交互式分析任务、分配资源的中央管理器,所述外围模块对开源组件apache zeppelin进行封装,所述浏览器端用于登录访问所述外围模块。该基于zeppelin的交互式分析系统,工作区管理模块使用户可以管理自己的笔记本单元,统一管理笔记本;任务管理模块使用户可以更加方便地管理任务,便于用户进行任务的编写、运行或停止。

    一种钢厂多源环境数据融合的方法

    公开(公告)号:CN112231313A

    公开(公告)日:2021-01-15

    申请号:CN202011222199.4

    申请日:2020-11-05

    摘要: 本发明公开了一种钢厂多源环境数据融合的方法,包括以下步骤:S1:对钢厂内多源环境数据进行采集,并存储进源数据库;所述多源环境数据包括钢厂生产排放监测数据、钢厂生产数据和钢厂当中的物流数据;S2:对采集到的多源环境数据进行预处理,预处理包括对数据的格式、时间及属性进行统一的分类;S3:将经过预处理的数据进行关联,得到关联矩阵;S4:基于BP神经网络方法,将关联得到的环境数据与钢厂生产数据进行融合。本发明通过大数据技术实现多源的环境数据融合,解决钢厂内环境数据来源广泛、复杂与数据异构问题,为一小时内钢厂生产及空气质量预测提供数据支撑。

    物联网环境下基于边云协同实时数据计算方法及系统

    公开(公告)号:CN115834711A

    公开(公告)日:2023-03-21

    申请号:CN202211680079.8

    申请日:2022-12-26

    摘要: 本发明公开了物联网环境下基于边云协同实时数据计算方法及系统,包括动态调配模块、负载均衡模块、设备感知模块、数据采集模块、边缘自治模块、云边协同模块、监控运维模块、Node‑Red管理模块;具体步骤为:S1,平台对下发的任务通过按照资源配额进行动态调配至边缘节点;S2,外部对集群微服务的访问请求以轮询的方式进行负载均衡进行响应;本发明能够进行集中的注册和管控,构建边云一体化解决方案,支撑工业物联网的扩展延伸,提升数字化和智能化。解决现存物联网系统中,只能满足基本的感知和数据采集传输功能,通过基于边云协同的实时数据计算框架,能够解决对服务集中管控、动态调配、设备实时监控、边云协同等问题。

    一种基于物联网网关的远程维护PLC的方法

    公开(公告)号:CN114545860A

    公开(公告)日:2022-05-27

    申请号:CN202210217345.7

    申请日:2022-03-07

    IPC分类号: G05B19/05

    摘要: 本发明提供了一种基于物联网网关的远程维护PLC的方法,包括如下步骤:S1.在具有固定公网IP的服务器上搭建VPN服务器;S2.将维护系统和物联网网关通过VPN连接到VPN服务器,以物联网网关作为VPN客户端进行配置,建立加密通道;S3.在物联网网关中通过iptables指令实现网络地址转换;S4.维护系统向物联网网关的IP发送连接指令,由物联网网关将指令转发到PLC设备中,实现维护系统与PLC设备的双向连接,远程维护PLC设备。本发明以网络为媒介,通过建立通讯加密通道,将工厂内部物联网网关与维护系统连接,通过配置网关网络,打通维护系统与PLC设备的网络通道,实现PLC设备的远程维护。