基于在线学习与记忆网络的实时异常检测方法

    公开(公告)号:CN118449720A

    公开(公告)日:2024-08-06

    申请号:CN202410402908.9

    申请日:2024-04-03

    摘要: 本发明涉及基于在线学习与记忆网络的实时异常检测方法,包括:收集实时流式数据,进行数据预处理;建立流式数据的在线学习模型;构建记忆模块网络,设定记忆模块网络的记忆更新机制;根据新数据点进行在线学习,更新在线学习模型的参数;从记忆单元中提取与当前数据点相关的历史信息;将在线学习模型得到的新数据点的当前特征与记忆单元提取的历史信息进行融合,得到融合特征;根据所述融合特征,判断当前数据点是否为异常。本发明本发明结合在线流式学习和记忆模块,能在不断变化的环境中快速识别出异常模式,并提供实时决策支持;通过在线流式学习组件对数据流的动态变化有良好的适应性。

    日志分布式采集分析系统及方法
    7.
    发明公开

    公开(公告)号:CN118193260A

    公开(公告)日:2024-06-14

    申请号:CN202410256103.8

    申请日:2024-03-06

    摘要: 本发明提供一种日志分布式采集分析系统及方法,包括:日志采集模块,接收并获取日志数据;日志传输存储模块,将日志数据传输至存储系统;日志索引模块,基于分布式搜索引擎建立索引;日志分析模块,基于流式大数据处理框架,分析处理待搜索的日志数据,生成数据异常评估曲线图,利用滤波算法对数据异常评估曲线图中的曲线数据进行平滑处理,识别获取基准线;筛选告警模块,在构建的数据计算模型中,生成正常范围区间值,将各个时间窗口下的异常指数与正常范围区间值做出对比,根据对比结果做出相应的动作。该系统及方法可及时地从日志分析中获取故障或异常发生的时间戳和对应的日志数据内容,便于快速定位异常点,并做出预警响应动作和策略。