一种数据实时分析方法、装置、设备和存储介质

    公开(公告)号:CN116069600A

    公开(公告)日:2023-05-05

    申请号:CN202111293763.6

    申请日:2021-11-03

    IPC分类号: G06F11/34 G06F16/18

    摘要: 本发明公开了一种数据实时分析方法、装置、计算设备和存储介质。根据本发明提供的技术方案,实时获取新产生的源数据,并按照所述源数据的类型将所述源数据存储至第一存储系统中对应的分类中;根据配置文件,通过各个执行节点对所述第一存储系统中各个分类中的源数据进行数据解析,得到解析结果;通过引擎表对所述解析结果进行消费,并按照预设维度进行实时汇聚得到对应的汇总表;利用所述汇总表关联对应的源数据,得到目标应用报表。通过本发明可实现实时流式处理能力,减小离线调度带来的额外成本,并使数据处理和分析时更加灵活,同时利用开源优势,减少开发量,保证后续程序的不断升级,并根据不同类型文本进行检测,提升文件变化感知效率。