基于ElasticSearch和Hbase技术的网络传输数据检索系统

    公开(公告)号:CN109783535A

    公开(公告)日:2019-05-21

    申请号:CN201811604106.7

    申请日:2018-12-26

    摘要: 本发明提供一种基于ElasticSearch和Hbase技术的网络传输数据检索系统,包括:数据存储模块,用于将元数据和二进制报文数据存储至ElasticSearch和Hbase数据库;以及数据查询模块,包括:元数据查询单元,用于从ElasticSearch存储库中获取网络数据的元数据;二进制报文数据查询单元,用于根据输入的查询条件,将获取到的二进制报文数据存储到Hbase数据库的result表中;元数据及二进制报文数据查询单元,用于根据输入的查询条件,将其获取到的二进制报文数据存储到Hbase数据库的result表中;同时,获取网络数据的元数据,组合后返回至外部系统;查询任务管理单元,用于进行列表显示、结束进程操作。本发明满足元数据及二进制报文数据的快速检索,从海量网络数据中准确、快速地抽取出用户关心的相关数据。

    一种排土场电子围栏的生成方法
    3.
    发明公开

    公开(公告)号:CN115150747A

    公开(公告)日:2022-10-04

    申请号:CN202210657314.3

    申请日:2022-06-10

    摘要: 本申请公开了一种排土场电子围栏的生成方法,该方法包括:构建初始排土场电子围栏,实时记录驶入所述初始排土场电子围栏内的渣土车的信息,其中,所述信息包括驶入和驶离所述初始排土场电子围栏的时间信息以及车辆信息;根据所述时间信息以及车辆信息确定所述车辆在所述初始排土场电子围栏内的轨迹,根据缓冲区算法以及所述轨迹计算所述渣土车所对应的缓冲区,将所述缓冲区与历史缓冲区进行合并得到新的缓冲区;根据所述新的缓冲区对所述初始排土场电子围栏进行动态调整得到调整后的电子围栏。本申请解决了如何根据实际情况动态实时调整排土场电子围栏的技术问题。

    基于ElasticSearch和Hbase技术的网络传输数据存储系统

    公开(公告)号:CN109614401A

    公开(公告)日:2019-04-12

    申请号:CN201811484698.3

    申请日:2018-12-06

    摘要: 本发明基于ElasticSearch和Hbase技术的网络传输数据存储系统,包括:Kafka模块,用于对网络传输数据进行接入和发布;Flume数据处理模块,包括:Flume Interceptors单元,用于对Kafka模块发布的网络传输数据解析为JSON格式,并进行数据处理;Channel选择单元,用于为每种数据类型定义特定的通道,及将Flume Interceptors单元处理后的网络传输数据按数据类型推送至对应通道;Flume Channel单元,用于接收及根据数据类型将网络传输数据传输;HBase Sink存储单元,用于根据设定的存储结构将网络传输数据中的元数据结合原始报文存储到HBase中;ES Sink存储单元,用于将提取的网络传输数据中的元数据存储到ES中。本发明接入处理速度和数据检索响应提高,实现快速的数据传输和存储,有效解决网络数据的快速存储及合理存储问题。