一种大数据端到端的数据质量监控方法和装置
摘要:
本发明公开一种大数据的端到端的数据质量监控方法、装置、电子设备及存储介质,该方法包括:将大数据处理流程中各阶段的数据质量统计上报给监控系统;监控系统将收集的数据质量进行分析处理,判断是否需要告警,并将需要告警的告警信息发送给告警系统;告警系统对告警信息分析处理后进行告警操作,并将分析处理后的告警信息发送至工单系统;工单系统接收所述告警信息,下发工单。该系统包括相互连接的监控系统,告警系统,工单系统。本发明实现了大数据端到端的数据质量监控,引入工单系统,通过将告警信息发送至工单系统,检测到问题后基于模型进行实时告警处理,然后自动接入工单系统通知到对应的人进行处理,真正做到监与控的结合。
0/0