一种基于Spark和Hadoop的数据对账方法及系统
摘要:
本发明涉及数据对账技术领域,尤其涉及一种基于Spark和Hadoop的数据对账方法及系统,所述数据对账系统与业务系统通信连接;所述数据对账系统包括相互通信连接的对账前端、数据中台、对账后台和调度服务器;所述方法包括:S1、录入相关的初始数据表和对账模板到对账前端中,对相关的初始数据表和对账模板进行校验,将校验无误的初始数据表和对账模板中转至数据中台的Hadoop平台;S2、抽取业务系统中相关的对账数据表到数据中台的Hive数据库;S3、对账后台将初始数据表和对账数据表进行数据对账,根据对账模板生成带有对账结果的对账文件;S4、将对账文件存储至数据中台,调度服务器向对账前端通知下载信息。本发明能快速进行对账校验,且得到准确的校验结果。
公开/授权文献
0/0