公开(公告)号：CN116389156A

公开(公告)日：2023-07-04

申请号：CN202310492126.4

申请日：2023-05-05

Applicant: 电子科技大学

Inventor： 丁熠 ,  李恒宇 ,  刘瑶 ,  周尔强 ,  朱国斌 ,  赵洋 ,  曹明生 ,  邓伏虎

IPC: H04L9/40 ,  H04L47/2441 ,  G06F16/28

Abstract: 本发明公开了一种在大数据量环境下的实时异常检测系统，涉及网络数据监控技术领域，该系统在特征提取和分类预测模型中实现流式处理的流程，CICFlowMeter在生成特征流量数据时，引入消息中间件，提出Elasticsearch和MySQL主从架构作为海量数据异常检索，结合Elasticsearch高性能全文检索以及MySQL高可靠的持久化存储，利用各自搜索存储引擎的优点，同时在数据更新同步方面设计专门的同步模块，搭建Kubernetes服务器，在系统中更新完分类模型后，使用Kubernetes滚动更新，保证业务时刻在线上运行。为了防止流量密集过多避免消息队列中流量丢失的现象，Kubernetes也可以监控系统CPU使用情况过多也就是异常检测流量数据过多，异常检测线程使用过多的情况下也可以实现系统水平迁移，保证数据不丢失以及提升系统实时性。