一种基于数采引擎到数据应用的断点续传方法及系统

    公开(公告)号:CN113836120A

    公开(公告)日:2021-12-24

    申请号:CN202111427236.X

    申请日:2021-11-29

    摘要: 本申请公开了一种基于数采引擎到数据应用的断点续传方法及系统,涉及大数据传输和存储技术领域,该系统通过链路监控模块设置,根据数据应用数据接受周期,定时启动链路监控任务,判断数据链路的异常与否,并在数据链路异常,但数据应用数据库可以正常连接时,根据监听KAFKA主题,直接将数据写入数据应用数据库中,当数据应用恢复时,则直接加载数据,免去自断点起始时间从数采引擎将中断的数据续传入数据应用数据库的时间,更及时的恢复数据,缓解数据集中写入网络及数据应用数据库的压力,此外,还可以自动定位问题、记录断点起始时间以及针对不同原因导致的数据中断采用不同的续传方案,保证数据应用的数据完整性以及数据续传的及时性。

    一种应用于工业现场的数据采集管理系统及方法

    公开(公告)号:CN114296954A

    公开(公告)日:2022-04-08

    申请号:CN202111524894.0

    申请日:2021-12-14

    IPC分类号: G06F9/54 G06F16/27

    摘要: 本申请公开了一种应用于工业现场的数据采集管理系统及方法,所述系统包括多个第一服务器,用于接收对应厂区网关机获取的生产数据,多个区域平台用于按照预设采集配置信息从对应的第一服务器中获取生产数据并进行存储,同时更新每个采集点位对应的元数据,同步传输至中心平台;一个中心平台用于设置所有区域平台的预设采集配置信息,并根据元数据对所有采集点位的生产数据进行统一管理和使用。本系统可以将生产数据统一查询、管理和使用,但不统一存储,避免了单点故障导致整体数据采集和管理受影响的问题,数据采集和管理的可靠性高。

    一种基于数采引擎到数据应用的断点续传方法及系统

    公开(公告)号:CN113836120B

    公开(公告)日:2022-03-11

    申请号:CN202111427236.X

    申请日:2021-11-29

    摘要: 本申请公开了一种基于数采引擎到数据应用的断点续传方法及系统,涉及大数据传输和存储技术领域,该系统通过链路监控模块设置,根据数据应用数据接受周期,定时启动链路监控任务,判断数据链路的异常与否,并在数据链路异常,但数据应用数据库可以正常连接时,根据监听KAFKA主题,直接将数据写入数据应用数据库中,当数据应用恢复时,则直接加载数据,免去自断点起始时间从数采引擎将中断的数据续传入数据应用数据库的时间,更及时的恢复数据,缓解数据集中写入网络及数据应用数据库的压力,此外,还可以自动定位问题、记录断点起始时间以及针对不同原因导致的数据中断采用不同的续传方案,保证数据应用的数据完整性以及数据续传的及时性。