一种基于海量大数据平台的实时数据接入质量监测方法

    公开(公告)号:CN107436924A

    公开(公告)日:2017-12-05

    申请号:CN201710549733.4

    申请日:2017-07-07

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30557

    摘要: 本发明旨在提供一种基于海量大数据平台的实时数据接入质量监测方法,以解决现有技术方案中没有检测方法可以对数据接入质量进行检测。包括:实时监控大数据平台与数据源端,当数据源端发送数据给大数据平台时,进行如下步骤:根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量;获取由数据源端统计的发送数据的数据条数作为对比量;根据接收量与对比量计算获得实际数据漏点率;根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。有益效果:根据数据源端统计的数据条数与大数据平台获取的数据条数进行比较,进而得出实际数据漏点率,并根据实际数据漏点率进行预警,进而实现对数据接入质量的监测。

    超大规模低压数据处理方法

    公开(公告)号:CN103714124B

    公开(公告)日:2017-04-26

    申请号:CN201310671734.8

    申请日:2013-12-10

    IPC分类号: G06F17/30

    摘要: 本发明的目的是克服现有技术的偏见,设计一套科学的超大规模低压数据处理方法,利用现有的网络构架,更便于数据的存储和检索,并且能及时分析其中的异常数据。在整个系统运行过程中也避免数据的遗漏。本发明超大规模低压数据处理方法所采用的技术方案是:所述整个数据库在宿主主机上存储在一个单一的文件中,在内存中创建低压电网数据的缓存,电网数据的缓存按操作人员的所属运行单位建立,形成整个低压电网的子集等步骤。本发明属于对传统技术的一种改良,通过本发明所述的超大规模低压数据处理方法能有效设置最小计算单元,通过设置格网型空间索引结合R树索引的方式,极大地提高了索引的效率,减少了计算量。