一种日志模式发现方法及系统

    公开(公告)号:CN108241658A

    公开(公告)日:2018-07-03

    申请号:CN201611210357.8

    申请日:2016-12-24

    IPC分类号: G06F17/30 G06F17/27 G06F17/21

    摘要: 本申请提供了一种日志模式发现方法及系统。所述方法包括:采集日志消息,将所述日志消息转换后存储为日志消息内容;逐条提取所述日志消息内容中的具体消息作为日志内容,形成日志内容列表;预设实体特征值和替换规则,将所述日志内容列表中的实体特征值根据所述替换规则进行替换;将替换后的日志内容列表中完全相同的日志内容进行合并,获得日志内容数据集;分析所述日志内容数据集中的日志内容,生成每条日志内容的句法树;定义文法,根据所述句法树和定义的文法,提取出每条日志内容的关键信息模型;将属于同一关键信息模型的日志内容归为一类,获得日志模式记录和静态模式数据表。采用上述方案,可使日志模式的划分更科学、信息更完整等。

    一种电信网络管理性能数据关联分析方法及系统

    公开(公告)号:CN110690982A

    公开(公告)日:2020-01-14

    申请号:CN201810731224.8

    申请日:2018-07-05

    IPC分类号: H04L12/24

    摘要: 本发明公开了一种电信网络管理性能数据关联分析方法及系统,获取一组KQI数列,获取与所述KQI数列对应的一组KPI数列;分别计算所述KQI数列的每个KQI测量值和与该KQI测量值对应的KPI测量值之间的相关系数,生成相关系数数列;将所述相关系数数列中的各个相关系数进行修正,获得修正后的相关系数;将修正后的各个相关系数进行排序,并提取出满足预设规则的目标相关系数;获取与所述目标相关系数对应的KPI指标,将所述KPI指标确定为KQI劣化原因因素。通过本发明基于对KQI和KPI的关联分析,解决了人工对业务质量劣化原因分析带来的效率低和准确率差的问题。

    一种电信网络管理性能数据关联分析方法及系统

    公开(公告)号:CN110690982B

    公开(公告)日:2023-07-14

    申请号:CN201810731224.8

    申请日:2018-07-05

    IPC分类号: H04L41/5009

    摘要: 本发明公开了一种电信网络管理性能数据关联分析方法及系统,获取一组KQI数列,获取与所述KQI数列对应的一组KPI数列;分别计算所述KQI数列的每个KQI测量值和与该KQI测量值对应的KPI测量值之间的相关系数,生成相关系数数列;将所述相关系数数列中的各个相关系数进行修正,获得修正后的相关系数;将修正后的各个相关系数进行排序,并提取出满足预设规则的目标相关系数;获取与所述目标相关系数对应的KPI指标,将所述KPI指标确定为KQI劣化原因因素。通过本发明基于对KQI和KPI的关联分析,解决了人工对业务质量劣化原因分析带来的效率低和准确率差的问题。

    一种日志模式发现方法及系统

    公开(公告)号:CN108241658B

    公开(公告)日:2021-09-07

    申请号:CN201611210357.8

    申请日:2016-12-24

    摘要: 本申请提供了一种日志模式发现方法及系统。所述方法包括:采集日志消息,将所述日志消息转换后存储为日志消息内容;逐条提取所述日志消息内容中的具体消息作为日志内容,形成日志内容列表;预设实体特征值和替换规则,将所述日志内容列表中的实体特征值根据所述替换规则进行替换;将替换后的日志内容列表中完全相同的日志内容进行合并,获得日志内容数据集;分析所述日志内容数据集中的日志内容,生成每条日志内容的句法树;定义文法,根据所述句法树和定义的文法,提取出每条日志内容的关键信息模型;将属于同一关键信息模型的日志内容归为一类,获得日志模式记录和静态模式数据表。采用上述方案,可使日志模式的划分更科学、信息更完整等。

    电信网络故障预警方法、装置及终端设备

    公开(公告)号:CN110224850A

    公开(公告)日:2019-09-10

    申请号:CN201910319216.7

    申请日:2019-04-19

    发明人: 丁健

    IPC分类号: H04L12/24

    摘要: 本发明提供一种电信网络故障预警方法、装置及终端设备。其中,电信网络故障预警方法,包括:预先训练隐马尔可夫模型,以及确定所述训练后的隐马尔可夫模型的正常概率阈值;采集电信网络设备生成的原始在线日志数据;对所述原始在线日志数据进行预处理,获得在线日志数据;遍历所述在线日志数据中的每条日志,判断每条日志所属的日志模式,并生成与所述在线日志数据对应的在线日志模式序列;计算所述在线日志模式序列在所述训练后的隐马尔可夫模型中出现的概率是否小于所述正常概率阈值,若是,则判断所述原始在线日志数据存在异常,发出故障预警。本发明能够对训练样本中出现或未出现的电信网络故障进行预警。

    一种自动化日志异常检测方法及系统

    公开(公告)号:CN110210512A

    公开(公告)日:2019-09-06

    申请号:CN201910320115.1

    申请日:2019-04-19

    发明人: 丁健

    IPC分类号: G06K9/62 G06N20/00

    摘要: 本发明公开一种自动化日志异常检测方法及系统,属于数据处理领域。所述包括:对原始日志数据进行预处理得到第一日志数据集;对第一日志数据集分组得到多个第二日志数据集,对各第二数据集进行特征提取得到对应的各特征集合;根据无监督异常点发现算法及异常操作指令在各第二日志数据集中发现对应的日志异常点;对各特征集合和对应的日志异常点进行训练,得到对应的各有监督机器学习分类模型;选取与待检测日志数据对应的有监督机器学习分类模型对待检测日志数据进行检测,得到日志异常检测结果。本发明中,克服了现有异常检测方法中判别准确性和泛化能力较低、对训练样本中未出现的故障无法预警以及需要耗费极大的时间成本和人工成本的缺陷。

    一种自动化日志异常检测方法及系统

    公开(公告)号:CN110210512B

    公开(公告)日:2024-03-26

    申请号:CN201910320115.1

    申请日:2019-04-19

    发明人: 丁健

    摘要: 本发明公开一种自动化日志异常检测方法及系统,属于数据处理领域。所述包括:对原始日志数据进行预处理得到第一日志数据集;对第一日志数据集分组得到多个第二日志数据集,对各第二数据集进行特征提取得到对应的各特征集合;根据无监督异常点发现算法及异常操作指令在各第二日志数据集中发现对应的日志异常点;对各特征集合和对应的日志异常点进行训练,得到对应的各有监督机器学习分类模型;选取与待检测日志数据对应的有监督机器学习分类模型对待检测日志数据进行检测,得到日志异常检测结果。本发明中,克服了现有异常检测方法中判别准确性和泛化能力较低、对训练样本中未出现的故障无法预警以及需要耗费极大的时间成本和人工成本的缺陷。