发明公开
- 专利标题: 一种日志数据挖掘方法及系统
-
申请号: CN202211369437.3申请日: 2022-11-03
-
公开(公告)号: CN115904703A公开(公告)日: 2023-04-04
- 发明人: 任俊达 , 周春雷 , 刘识 , 皮志贤 , 赵添翼 , 吕宏伟 , 陈振宇
- 申请人: 国家电网有限公司大数据中心
- 申请人地址: 北京市西城区宣武门内大街8号
- 专利权人: 国家电网有限公司大数据中心
- 当前专利权人: 国家电网有限公司大数据中心
- 当前专利权人地址: 北京市西城区宣武门内大街8号
- 代理机构: 北京安博达知识产权代理有限公司
- 代理商 徐国文
- 主分类号: G06F9/50
- IPC分类号: G06F9/50 ; G06F18/23213 ; G06N3/006
摘要:
本发明提供了一种日志数据挖掘方法及系统,包括:获取所需的日志文件的数据;采用MapReduce模型对数据进行数据处理操作获得属性数据;采用粒子群优化算法对属性数据进行寻优操作获得属性数据初始最优聚类中心;采用K‑means算法结合属性数据初始最优聚类中心对属性数据进行聚类操作获得最优聚类结果。本发明采用MapReduce模型进行数据处理操作的技术特征,提升大数据情况下数据准备的效率和准确率,并且采用粒子群优化算法确定聚类中心进而采用K‑means算法进行聚类操作的技术特征,消除了K‑means算法对初始聚类中心的依赖,提高了传统聚类算法初始聚类中心选取的准确性,提升了聚类算法用于日志数据挖掘结果的准确性和效率,极大提高日志数据挖掘的整体处理效率。