一种基于Apache Flink的ETL数据处理系统及方法

    公开(公告)号:CN115757597A

    公开(公告)日:2023-03-07

    申请号:CN202211675433.8

    申请日:2022-12-26

    IPC分类号: G06F16/25 G06F16/245

    摘要: 本发明提供了一种基于Apache Flink的ETL数据处理系统及方法,系统包括数据源组件配置服务模块、数据转换组件配置服务模块、ETL任务配置服务模块、ETL任务解析器和ETL任务监控服务模块;数据源组件配置服务模块用于对不同类型的数据源组件进行配置,数据转换组件配置服务模块用于对不同类型的数据转换组件进行配置,ETL任务配置服务模块用于配置ETL任务所需要的数据源组件和数据转换组件及转换流程;ETL任务解析器用于对待执行的ETL任务进行解析并将解析后的任务信息发送给远程集群运行;ETL任务监控服务模块用于对远程集群的ETL任务运行状态进行监控。本发明支持连接多种异构数据源并以数据流的形式在系统中传递,提供对数据流进行数据转换的操作。

    一种用于ElementUI表单与列表联动控制的方法

    公开(公告)号:CN114579098B

    公开(公告)日:2024-05-28

    申请号:CN202210271240.X

    申请日:2022-03-18

    IPC分类号: G06F8/20

    摘要: 本发明公开了一种用于ElementUI表单与列表联动控制的方法,包括步骤:当勾选多选列表时,将所选数据保存到中间变量(已选项数据),并同步到表单数据;当对表单数据进行删除操作时,需对中间变量进行相应地操作,然后再对列表内容的选中状态进行更新操作,如果删除的不是当前页数据,则调用toggleRowSelection方法切换列表该行数据的选中状态无效,此时需要在切换列表分页时重新对列表的选中状态进行相应地设置。本发明通过比较当前页列表数据与已勾选项数据,实现应用程序中表单与所选列表相互联动控制。

    一种将物理设备时序变量自动映射为数字模型的方法

    公开(公告)号:CN114095535A

    公开(公告)日:2022-02-25

    申请号:CN202111356404.0

    申请日:2021-11-16

    IPC分类号: H04L67/12 H04L67/565

    摘要: 本发明公开了一种将物理设备时序变量自动映射为数字模型的方法,该方法包括:根据物理设备类型,使用可编程嵌入式装置将物理设备接入物联网系统;解析物理设备的通讯协议并将采集到的设备数据转换成时间序列变量;处理所述时间序列变量中的无效数据;将经过处理的时间序列变量数据以MQTT协议从边缘端发送到云端平台;在云端平台上,根据设定的映射规则自动将接收到的数据数字化重组为数字模型。本发明不必区分设备注册和设备传输的流程差异,注重把时间序列数据作为核心内容,引入可编程的自动映射规则,解决了设备接入系统的自适应问题。

    一种将物理设备时序变量自动映射为数字模型的方法

    公开(公告)号:CN114095535B

    公开(公告)日:2024-02-06

    申请号:CN202111356404.0

    申请日:2021-11-16

    IPC分类号: H04L67/12 H04L67/565

    摘要: 本发明公开了一种将物理设备时序变量自动映射为数字模型的方法,该方法包括:根据物理设备类型,使用可编程嵌入式装置将物理设备接入物联网系统;解析物理设备的通讯协议并将采集到的设备数据转换成时间序列变量;处理所述时间序列变量中的无效数据;将经过处理的时间序列变量数据以MQTT协议从边缘端发送到云端平台;在云端平台上,根据设定的映射规则自动将接收到的数据数字化重组为数字模型。本发明不必区分设备注册和设备传输的流程差异,注重把时间序列数据作为核心内容,引入可编程的自动映射规则,解决了设备接入系统的自适应问题。

    一种基于边缘计算的边云协同管理系统

    公开(公告)号:CN116074351A

    公开(公告)日:2023-05-05

    申请号:CN202310061958.0

    申请日:2023-01-14

    摘要: 本发明公开了一种基于边缘计算的边云协同管理系统,包括边云协同管理平台,且边云协同管理平台包括云端、边端、设备端;所述边云协同管理平台提供动态调配、负载均衡、数据采集和分析、监控运维、边缘自治和云边协同;动态调配:将任务动态分配的最佳节点;负载均衡:将请求均衡的分摊到各个服务器;本发明的有益效果是:利用边端有限计算能力进行数据预处理,缓解带宽压力,进一步打通数据采集和处理环节,便于接入,缓解配置困难问题,精细化监控系统状态,提供数据服务能力;采集到的数据进行处理时,先在物联网内部进行数据清洗,再在中央处理节点进行处理,减少了干扰数据的影响,保证数据的精准。

    一种用于ElementUI表单与列表联动控制的方法

    公开(公告)号:CN114579098A

    公开(公告)日:2022-06-03

    申请号:CN202210271240.X

    申请日:2022-03-18

    IPC分类号: G06F8/20

    摘要: 本发明公开了一种用于ElementUI表单与列表联动控制的方法,包括步骤:当勾选多选列表时,将所选数据保存到中间变量(已选项数据),并同步到表单数据;当对表单数据进行删除操作时,需对中间变量进行相应地操作,然后再对列表内容的选中状态进行更新操作,如果删除的不是当前页数据,则调用toggleRowSelection方法切换列表该行数据的选中状态无效,此时需要在切换列表分页时重新对列表的选中状态进行相应地设置。本发明通过比较当前页列表数据与已勾选项数据,实现应用程序中表单与所选列表相互联动控制。