一种数据实时分析方法、装置、设备和存储介质

    公开(公告)号:CN116069600A

    公开(公告)日:2023-05-05

    申请号:CN202111293763.6

    申请日:2021-11-03

    IPC分类号: G06F11/34 G06F16/18

    摘要: 本发明公开了一种数据实时分析方法、装置、计算设备和存储介质。根据本发明提供的技术方案,实时获取新产生的源数据,并按照所述源数据的类型将所述源数据存储至第一存储系统中对应的分类中;根据配置文件,通过各个执行节点对所述第一存储系统中各个分类中的源数据进行数据解析,得到解析结果;通过引擎表对所述解析结果进行消费,并按照预设维度进行实时汇聚得到对应的汇总表;利用所述汇总表关联对应的源数据,得到目标应用报表。通过本发明可实现实时流式处理能力,减小离线调度带来的额外成本,并使数据处理和分析时更加灵活,同时利用开源优势,减少开发量,保证后续程序的不断升级,并根据不同类型文本进行检测,提升文件变化感知效率。

    数据处理方法、装置、电子设备及存储介质

    公开(公告)号:CN118821930A

    公开(公告)日:2024-10-22

    申请号:CN202410564031.3

    申请日:2024-05-08

    摘要: 本申请提出一种数据处理方法、装置、电子设备及存储介质,其中,方法包括:基于从第一故障的第一工单数据中提取的案例实体构建第一知识图谱,基于从第一故障各处理阶段的行为数据中提取的案例实体构建第二知识图谱,之后,对第一知识图谱中案例简述实体进行关键词提取及筛选,以基于筛选出的关键词确定第一故障对应的第一故障类型,然后,基于第一故障类型在第一知识图谱中添加类型实体后,基于问题编号实体将第一知识图谱及第二知识图谱关联,生成第一故障对应的历史知识图谱。规范化了故障行为数据及故障工单数据,提高了故障数据的可读性。为识别故障原因和挖掘最佳网络故障解决方案提供高质量的数据支撑。