一种基于海量大数据平台的实时数据接入质量监测方法

    公开(公告)号:CN107436924A

    公开(公告)日:2017-12-05

    申请号:CN201710549733.4

    申请日:2017-07-07

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30557

    摘要: 本发明旨在提供一种基于海量大数据平台的实时数据接入质量监测方法,以解决现有技术方案中没有检测方法可以对数据接入质量进行检测。包括:实时监控大数据平台与数据源端,当数据源端发送数据给大数据平台时,进行如下步骤:根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量;获取由数据源端统计的发送数据的数据条数作为对比量;根据接收量与对比量计算获得实际数据漏点率;根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。有益效果:根据数据源端统计的数据条数与大数据平台获取的数据条数进行比较,进而得出实际数据漏点率,并根据实际数据漏点率进行预警,进而实现对数据接入质量的监测。