- 专利标题: 一种基于Spark和Hadoop的数据对账方法及系统
-
申请号: CN202310550587.2申请日: 2023-05-16
-
公开(公告)号: CN116579866B公开(公告)日: 2023-11-03
- 发明人: 梁英林 , 孔令超 , 林国友
- 申请人: 佛山众陶联供应链服务有限公司 , 西藏众陶联供应链服务有限公司 , 林周佳住家网络科技有限公司 , 林周利利佳供应链服务有限公司 , 共青城市众陶联供应链服务有限公司
- 申请人地址: 广东省佛山市禅城区南庄镇陶博大道23号华夏陶瓷中央广场写字楼B座首层1号之三-之四; ; ; ;
- 专利权人: 佛山众陶联供应链服务有限公司,西藏众陶联供应链服务有限公司,林周佳住家网络科技有限公司,林周利利佳供应链服务有限公司,共青城市众陶联供应链服务有限公司
- 当前专利权人: 佛山众陶联供应链服务有限公司,西藏众陶联供应链服务有限公司,林周佳住家网络科技有限公司,林周利利佳供应链服务有限公司,共青城市众陶联供应链服务有限公司
- 当前专利权人地址: 广东省佛山市禅城区南庄镇陶博大道23号华夏陶瓷中央广场写字楼B座首层1号之三-之四; ; ; ;
- 代理机构: 佛山市禾才知识产权代理有限公司
- 代理商 张晓婷
- 主分类号: G06Q40/12
- IPC分类号: G06Q40/12 ; G06F16/245 ; G06F16/25 ; G06F16/28 ; G06F9/48
摘要:
本发明涉及数据对账技术领域,尤其涉及一种基于Spark和Hadoop的数据对账方法及系统,所述数据对账系统与业务系统通信连接;所述数据对账系统包括相互通信连接的对账前端、数据中台、对账后台和调度服务器;所述方法包括:S1、录入相关的初始数据表和对账模板到对账前端中,对相关的初始数据表和对账模板进行校验,将校验无误的初始数据表和对账模板中转至数据中台的Hadoop平台;S2、抽取业务系统中相关的对账数据表到数据中台的Hive数据库;S3、对账后台将初始数据表和对账数据表进行数据对账,根据对账模板生成带有对账结果的对账文件;S4、将对账文件存储至数据中台,调度服务器向对账前端通知下载信息。本发明能快速进行对账校验,且得到准确的校验结果。
公开/授权文献
- CN116579866A 一种基于Spark和Hadoop的数据对账方法及系统 公开/授权日:2023-08-11