发明公开
- 专利标题: 一种大数据端到端的数据质量监控方法和装置
- 专利标题(英): End-to-end data quality monitoring method and device of big data
-
申请号: CN201810213377.3申请日: 2018-03-15
-
公开(公告)号: CN108494590A公开(公告)日: 2018-09-04
- 发明人: 陆峰 , 黄彬 , 覃江
- 申请人: 苏州思必驰信息科技有限公司
- 申请人地址: 江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋
- 专利权人: 苏州思必驰信息科技有限公司
- 当前专利权人: 苏州思必驰信息科技有限公司
- 当前专利权人地址: 江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋
- 代理机构: 北京商专永信知识产权代理事务所
- 代理商 方挺; 车江华
- 主分类号: H04L12/24
- IPC分类号: H04L12/24
摘要:
本发明公开一种大数据的端到端的数据质量监控方法、装置、电子设备及存储介质,该方法包括:将大数据处理流程中各阶段的数据质量统计上报给监控系统;监控系统将收集的数据质量进行分析处理,判断是否需要告警,并将需要告警的告警信息发送给告警系统;告警系统对告警信息分析处理后进行告警操作,并将分析处理后的告警信息发送至工单系统;工单系统接收所述告警信息,下发工单。该系统包括相互连接的监控系统,告警系统,工单系统。本发明实现了大数据端到端的数据质量监控,引入工单系统,通过将告警信息发送至工单系统,检测到问题后基于模型进行实时告警处理,然后自动接入工单系统通知到对应的人进行处理,真正做到监与控的结合。