一种基于数采引擎到数据应用的断点续传方法及系统

    公开(公告)号:CN113836120B

    公开(公告)日:2022-03-11

    申请号:CN202111427236.X

    申请日:2021-11-29

    摘要: 本申请公开了一种基于数采引擎到数据应用的断点续传方法及系统,涉及大数据传输和存储技术领域,该系统通过链路监控模块设置,根据数据应用数据接受周期,定时启动链路监控任务,判断数据链路的异常与否,并在数据链路异常,但数据应用数据库可以正常连接时,根据监听KAFKA主题,直接将数据写入数据应用数据库中,当数据应用恢复时,则直接加载数据,免去自断点起始时间从数采引擎将中断的数据续传入数据应用数据库的时间,更及时的恢复数据,缓解数据集中写入网络及数据应用数据库的压力,此外,还可以自动定位问题、记录断点起始时间以及针对不同原因导致的数据中断采用不同的续传方案,保证数据应用的数据完整性以及数据续传的及时性。

    一种自动触发的实时变频的数据推送方法及系统

    公开(公告)号:CN117857491A

    公开(公告)日:2024-04-09

    申请号:CN202410052051.2

    申请日:2024-01-12

    摘要: 本申请实施例提供了一种自动触发的实时变频的数据推送方法及系统,方法包括采集包括点位ID及其对应的历史值或最新值的点位数据;将点位ID及其历史值存于时序数据库;对多个转发通道的包括关联的通道ID、通道类型、通道主题和通道所要转发的点位的配置信息进行配置;将点位ID及其最新值、转发通道的配置信息和数据转发的时间戳存储于Redis缓存;根据Redis缓存中点位ID、通道ID、通道主题和通道所要转发的点位,获取通道类型对应的转发流程,触发时高频转发的转发流程运用时序数据库;转发流程中达到转发条件,对转发点位数据并将其转发的时间戳存于Redis缓存,变频转发不同点位数据,避免了全量推送导致的崩溃或卡顿。

    一种基于数采引擎到数据应用的断点续传方法及系统

    公开(公告)号:CN113836120A

    公开(公告)日:2021-12-24

    申请号:CN202111427236.X

    申请日:2021-11-29

    摘要: 本申请公开了一种基于数采引擎到数据应用的断点续传方法及系统,涉及大数据传输和存储技术领域,该系统通过链路监控模块设置,根据数据应用数据接受周期,定时启动链路监控任务,判断数据链路的异常与否,并在数据链路异常,但数据应用数据库可以正常连接时,根据监听KAFKA主题,直接将数据写入数据应用数据库中,当数据应用恢复时,则直接加载数据,免去自断点起始时间从数采引擎将中断的数据续传入数据应用数据库的时间,更及时的恢复数据,缓解数据集中写入网络及数据应用数据库的压力,此外,还可以自动定位问题、记录断点起始时间以及针对不同原因导致的数据中断采用不同的续传方案,保证数据应用的数据完整性以及数据续传的及时性。

    一种针对数据链路的监控方法、装置及系统

    公开(公告)号:CN115842860B

    公开(公告)日:2023-06-13

    申请号:CN202310171469.0

    申请日:2023-02-28

    摘要: 本申请涉及数据链路监控技术领域,具体而言,涉及一种针对数据链路的监控方法、装置及系统,一定程度上可以监控数据链路是否出现异常,提高数字应用过程中的安全性和可靠性。所述方法应用于监控服务器,监控服务器与待监控的数据链路相连接,所述方法包括:通过数据链路中的数据采集平台获取在数据链路中传输的点位的点位状态,点位状态用于表征点位所在链路的运行状态,点位所在链路为数据链路中的分支;当成功获取点位状态,且检测到点位中的第一点位的点位状态异常时,获取第一点位所在链路上一次的运行状态;当第一点位所在链路上一次的运行状态正常时,对数据链路中待监控节点进行检查,以确定第一点位所在链路中的异常节点。

    数据处理系统和数据处理方法

    公开(公告)号:CN115580619A

    公开(公告)日:2023-01-06

    申请号:CN202211486607.6

    申请日:2022-11-25

    IPC分类号: H04L67/1004 H04L67/1074

    摘要: 本申请实施例提供了一种数据处理系统和数据处理方法,该数据处理系统包括数据采集服务和数据处理服务,数据采集服务与至少一个边缘设备连接。其中,边缘设备用于采集监控环境中的数据,得到多条原始数据;数据采集服务用于从边缘设备中获取多条原始数据,并将多条原始数据发送给数据处理服务;数据处理服务用于处理数据采集服务发送的多条原始数据。由此可见,本申请的数据处理系统在数据采集服务和数据处理服务之间,去除了传统的消息服务队列,节省了部署消息队列服务所需的运行资源和服务器资源。而且,数据采集服务和数据处理服务之间采用点对点的模式进行通信,降低了消息传输时延,提高了系统响应的实时性。

    分布式工业数据采集系统及方法

    公开(公告)号:CN112637368B

    公开(公告)日:2021-05-14

    申请号:CN202110256786.3

    申请日:2021-03-10

    摘要: 本申请涉及工业数据采集技术领域,公开了分布式工业数据采集系统及方法,该系统包括:IOT平台、注册服务器及多组网关机;IOT平台中设置有任务分配模块及数据采集模块;注册服务器中设置有多个注册中心。通过任务分配模块对参与数据接收的数采节点进行节点编号、对网关机进行路由编号,将数采节点与其对应的网关机绑定在一起,并通知注册服务器中的注册中心对参与数据接收的数采节点进行监控,建立起IOT平台在工业数据接收过程中的故障监测机制,实现IOT平台的数据管理,避免了IOT平台上存储的工业数据存在缺漏或异常的现象。

    一种针对数据链路的监控方法、装置及系统

    公开(公告)号:CN115842860A

    公开(公告)日:2023-03-24

    申请号:CN202310171469.0

    申请日:2023-02-28

    摘要: 本申请涉及数据链路监控技术领域,具体而言,涉及一种针对数据链路的监控方法、装置及系统,一定程度上可以监控数据链路是否出现异常,提高数字应用过程中的安全性和可靠性。所述方法应用于监控服务器,监控服务器与待监控的数据链路相连接,所述方法包括:通过数据链路中的数据采集平台获取在数据链路中传输的点位的点位状态,点位状态用于表征点位所在链路的运行状态,点位所在链路为数据链路中的分支;当成功获取点位状态,且检测到点位中的第一点位的点位状态异常时,获取第一点位所在链路上一次的运行状态;当第一点位所在链路上一次的运行状态正常时,对数据链路中待监控节点进行检查,以确定第一点位所在链路中的异常节点。

    资源调整方法、装置、计算机设备和存储介质

    公开(公告)号:CN115811537A

    公开(公告)日:2023-03-17

    申请号:CN202310132368.2

    申请日:2023-02-20

    IPC分类号: H04L67/12 H04L43/08

    摘要: 本申请实施例提供了一种资源调整方法、装置、计算机设备和存储介质,包括:获取目标数据采集系统中各工业设备的点位采集配置信息;目标数据采集系统包括多个工业设备、至少一个网关机和多个数据采集服务器,每个工业设备对应至少一个设备点位;基于点位采集配置信息,按照预设的监测周期获取目标数据采集系统的性能监测数据;性能监测数据表示目标数据采集系统中多个数据采集服务器的数据采集性能;根据性能监测数据,调整目标数据采集系统中数据采集服务器的服务器资源。如此,能够有效避免数据采集性能低,导致数据处理滞后或者数据丢失的问题,且调整目标数据采集系统中的服务器资源,也可以提高服务器资源的利用率,减少资源浪费。

    分布式工业数据采集系统及方法

    公开(公告)号:CN112637368A

    公开(公告)日:2021-04-09

    申请号:CN202110256786.3

    申请日:2021-03-10

    摘要: 本申请涉及工业数据采集技术领域,公开了分布式工业数据采集系统及方法,该系统包括:IOT平台、注册服务器及多组网关机;IOT平台中设置有任务分配模块及数据采集模块;注册服务器中设置有多个注册中心。通过任务分配模块对参与数据接收的数采节点进行节点编号、对网关机进行路由编号,将数采节点与其对应的网关机绑定在一起,并通知注册服务器中的注册中心对参与数据接收的数采节点进行监控,建立起IOT平台在工业数据接收过程中的故障监测机制,实现IOT平台的数据管理,避免了IOT平台上存储的工业数据存在缺漏或异常的现象。