一种基于计算用时不同的流处理任务的数据实时集成方法

    公开(公告)号:CN117033485A

    公开(公告)日:2023-11-10

    申请号:CN202311004732.3

    申请日:2023-08-10

    Abstract: 本发明提出一种基于计算用时不同的流处理任务的数据实时集成方法,属于数据实时集成技术领域。包括:S1、预执行待集成的各流处理任务获得计算用时,将任务分为计算用时秒级和计算用时非秒级;S2、获取不同来源的待集成数据;S3、定义集成后的数据大小;S4、定义数据暂存区的存储结构;S5、将待集成数据输入数据暂存区进行数据集成;S6、判断计算用时秒级的数据集成是否完成;S7、非秒级流处理任务集成完成时,直接更新数据库中存储的同一时间戳下的数据条目,进行数据集成。解决计算用时不同,无法同时结束的流处理任务功能模块实时集成问题,支持跨功能模块进行全量生产数据实时随机查询和历史下载。

    一种基于流处理任务的数据实时集成方法

    公开(公告)号:CN117041342A

    公开(公告)日:2023-11-10

    申请号:CN202311004727.2

    申请日:2023-08-10

    Abstract: 本发明提出一种基于流处理任务的数据实时集成方法,属于数据实时集成技术领域。包括:S1、获取不同来源的待集成数据,规范待集成数据格式;S2、定义集成后的数据大小,数据大小用键的数量进行表征;S3、定义数据暂存区的存储结构,存储不同来源正在集成的数据;S4、通过数据传输接口将规范后的待集成数据输入数据暂存区进行数据集成;S5、判断数据集成是否完成,若集成完成,将数据暂存区中Key下集成的数据以字典格式存入MongoDB数据库,并从数据暂存区中删除数据;若集成未完成,不进行任何操作。解决无法支持用户跨模块的对全量生产信息进行实时随机查询和历史数据下载的问题。

    一种基于流处理任务和定时任务的数据实时集成方法

    公开(公告)号:CN117033484A

    公开(公告)日:2023-11-10

    申请号:CN202311004725.3

    申请日:2023-08-10

    Abstract: 本发明提出一种基于流处理任务和定时任务的数据实时集成方法,属于数据实时集成技术领域。包括:S1、获取不同来源的待集成数据,规范待集成数据格式;S2、定义集成后的数据大小,数据大小用键的数量进行表征;S3、定义数据暂存区的存储结构,存储不同来源正在集成的数据;S4、通过数据传输接口将规范后的待集成数据输入数据暂存区进行数据集成;S5、判断数据集成是否完成,若集成完成,将数据暂存区中Key下集成的数据以字典格式存入MongoDB数据库,并从数据暂存区中删除数据;若集成未完成,不进行任何操作。解决无法实现流处理任务和定时任务的实时数据集成,无法支持用户对全量生产信息实时随机查询和历史数据下载的问题。

Patent Agency Ranking