一种数据处理方法以及数据处理设备

    公开(公告)号:CN107992490A

    公开(公告)日:2018-05-04

    申请号:CN201610948580.6

    申请日:2016-10-26

    IPC分类号: G06F17/30 G06F11/34

    CPC分类号: G06F11/34 G06F17/30

    摘要: 本申请实施例公开了一种数据处理方法以及数据处理设备,用于根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板,即解析规则;然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需要人工设置解析规则,免除了运行过程对解析规则的人工维护与更新。本申请实施例方法包括:数据处理设备获取日志集合;所述数据处理设备确定所述日志集合中N条日志属于第一类型,所述N为正整数;所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板,所述第一类型对应的日志模板用于指示所述N条日志的变量位置;所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。

    一种数据处理方法以及数据处理设备

    公开(公告)号:CN107992490B

    公开(公告)日:2021-09-14

    申请号:CN201610948580.6

    申请日:2016-10-26

    摘要: 本申请实施例公开了一种数据处理方法以及数据处理设备,用于根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板,即解析规则;然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需要人工设置解析规则,免除了运行过程对解析规则的人工维护与更新。本申请实施例方法包括:数据处理设备获取日志集合;所述数据处理设备确定所述日志集合中N条日志属于第一类型,所述N为正整数;所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板,所述第一类型对应的日志模板用于指示所述N条日志的变量位置;所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。

    网络日志时间对齐方法、装置及主机

    公开(公告)号:CN107124289B

    公开(公告)日:2021-06-01

    申请号:CN201610102268.5

    申请日:2016-02-24

    IPC分类号: H04L12/24

    摘要: 本发明实施例公开了一种网络日志时间对齐方法、装置及主机,用于提高故障定位定界的效率与准确性。本发明实施例方法包括:获取多个网络设备中保存的日志数据,对日志数据进行解析获得每个网络设备的特征点,根据所述每个网络设备的特征点确定所述多个网络设备的关联特征点,该关联特征点即为各网络设备在空间上存在关联的特征点,之后,根据所述关联特征点对齐所述多个日志数据中的日志时间。因此,本发明能够通过找出网络故障的相关设备间的关联特征点,根据该关联特征点来进行日志时间自动对齐,从而能够提高故障定位定界的效率与准确性。

    告警日志压缩方法、装置及系统、存储介质

    公开(公告)号:CN110399347A

    公开(公告)日:2019-11-01

    申请号:CN201810370889.0

    申请日:2018-04-23

    IPC分类号: G06F16/174 G06F16/18

    摘要: 本申请公开了一种告警日志压缩方法、装置及系统、存储介质,属于通讯技术领域。包括:获取通讯网络中的第一网络设备产生的历史告警日志集合;基于历史告警日志集合中的历史告警日志的产生时间戳,对历史告警日志集合进行划分,得到多个历史告警日志子集合,每个历史告警日志子集合中的所有历史告警日志在时序上连续;确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系;基于对应关系对历史告警日志集合中的告警类型进行聚类处理,以生成至少一个关联规则;基于至少一个关联规则对多个待处理告警日志进行压缩处理,以得到告警类型为根因告警类型的告警日志。本申请解决了关联规则的挖掘效率较低且时间代价较大的问题。

    网络日志时间对齐方法、装置及主机

    公开(公告)号:CN107124289A

    公开(公告)日:2017-09-01

    申请号:CN201610102268.5

    申请日:2016-02-24

    IPC分类号: H04L12/24

    CPC分类号: H04L41/0677 H04L41/069

    摘要: 本发明实施例公开了一种网络日志时间对齐方法、装置及主机,用于提高故障定位定界的效率与准确性。本发明实施例方法包括:获取多个网络设备中保存的日志数据,对日志数据进行解析获得每个网络设备的特征点,根据所述每个网络设备的特征点确定所述多个网络设备的关联特征点,该关联特征点即为各网络设备在空间上存在关联的特征点,之后,根据所述关联特征点对齐所述多个日志数据中的日志时间。因此,本发明能够通过找出网络故障的相关设备间的关联特征点,根据该关联特征点来进行日志时间自动对齐,从而能够提高故障定位定界的效率与准确性。

    一种数据处理方法以及数据处理设备

    公开(公告)号:CN114281781A

    公开(公告)日:2022-04-05

    申请号:CN202111084804.0

    申请日:2016-10-26

    IPC分类号: G06F16/18 G06F11/34 G06K9/62

    摘要: 本申请实施例公开了一种数据处理方法以及数据处理设备,用于根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板,即解析规则;然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需要人工设置解析规则,免除了运行过程对解析规则的人工维护与更新。本申请实施例方法包括:数据处理设备获取日志集合;所述数据处理设备确定所述日志集合中N条日志属于第一类型,所述N为正整数;所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板,所述第一类型对应的日志模板用于指示所述N条日志的变量位置;所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。

    告警日志压缩方法、装置及系统、存储介质

    公开(公告)号:CN113407507A

    公开(公告)日:2021-09-17

    申请号:CN202110542595.3

    申请日:2018-04-23

    IPC分类号: G06F16/174 G06F16/18 G06K9/62

    摘要: 本申请公开了一种告警日志压缩方法、装置及系统、存储介质,属于通讯技术领域。包括:获取通讯网络中的第一网络设备产生的历史告警日志集合;基于历史告警日志集合中的历史告警日志的产生时间戳,对历史告警日志集合进行划分,得到多个历史告警日志子集合,每个历史告警日志子集合中的所有历史告警日志在时序上连续;确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系;基于对应关系对历史告警日志集合中的告警类型进行聚类处理,以生成至少一个关联规则;基于至少一个关联规则对多个待处理告警日志进行压缩处理,以得到告警类型为根因告警类型的告警日志。本申请解决了关联规则的挖掘效率较低且时间代价较大的问题。

    告警类型关联规则的生成方法、装置及系统、存储介质

    公开(公告)号:CN113407507B

    公开(公告)日:2022-04-29

    申请号:CN202110542595.3

    申请日:2018-04-23

    IPC分类号: G06F16/174 G06F16/18 G06K9/62

    摘要: 本申请公开了一种告警日志压缩方法、装置及系统、存储介质,属于通讯技术领域。包括:获取通讯网络中的第一网络设备产生的历史告警日志集合;基于历史告警日志集合中的历史告警日志的产生时间戳,对历史告警日志集合进行划分,得到多个历史告警日志子集合,每个历史告警日志子集合中的所有历史告警日志在时序上连续;确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系;基于对应关系对历史告警日志集合中的告警类型进行聚类处理,以生成至少一个关联规则;基于至少一个关联规则对多个待处理告警日志进行压缩处理,以得到告警类型为根因告警类型的告警日志。本申请解决了关联规则的挖掘效率较低且时间代价较大的问题。

    告警日志压缩方法、装置及系统、存储介质

    公开(公告)号:CN110399347B

    公开(公告)日:2021-05-18

    申请号:CN201810370889.0

    申请日:2018-04-23

    IPC分类号: G06F16/174 G06F16/18

    摘要: 本申请公开了一种告警日志压缩方法、装置及系统、存储介质,属于通讯技术领域。包括:获取通讯网络中的第一网络设备产生的历史告警日志集合;基于历史告警日志集合中的历史告警日志的产生时间戳,对历史告警日志集合进行划分,得到多个历史告警日志子集合,每个历史告警日志子集合中的所有历史告警日志在时序上连续;确定历史告警日志集合中的告警类型与多个历史告警日志子集合的对应关系;基于对应关系对历史告警日志集合中的告警类型进行聚类处理,以生成至少一个关联规则;基于至少一个关联规则对多个待处理告警日志进行压缩处理,以得到告警类型为根因告警类型的告警日志。本申请解决了关联规则的挖掘效率较低且时间代价较大的问题。