发明公开
- 专利标题: 一种基于海量大数据平台的实时数据接入质量监测方法
- 专利标题(英): Real-time data access quality monitoring method based on massive big data platform
-
申请号: CN201710549733.4申请日: 2017-07-07
-
公开(公告)号: CN107436924A公开(公告)日: 2017-12-05
- 发明人: 戴波 , 汤亿则 , 江樱 , 刘鸿宁 , 黄海潮 , 王剑 , 阳东 , 周洋
- 申请人: 国网浙江省电力公司信息通信分公司 , 国网浙江省电力公司
- 申请人地址: 浙江省杭州市黄龙路8号
- 专利权人: 国网浙江省电力公司信息通信分公司,国网浙江省电力公司
- 当前专利权人: 国网浙江省电力公司信息通信分公司,国网浙江省电力公司
- 当前专利权人地址: 浙江省杭州市黄龙路8号
- 代理机构: 杭州华鼎知识产权代理事务所
- 代理商 项军
- 主分类号: G06F17/30
- IPC分类号: G06F17/30
摘要:
本发明旨在提供一种基于海量大数据平台的实时数据接入质量监测方法,以解决现有技术方案中没有检测方法可以对数据接入质量进行检测。包括:实时监控大数据平台与数据源端,当数据源端发送数据给大数据平台时,进行如下步骤:根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量;获取由数据源端统计的发送数据的数据条数作为对比量;根据接收量与对比量计算获得实际数据漏点率;根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。有益效果:根据数据源端统计的数据条数与大数据平台获取的数据条数进行比较,进而得出实际数据漏点率,并根据实际数据漏点率进行预警,进而实现对数据接入质量的监测。