- 专利标题: 基于Hadoop平台的应用报表实现方法、设备及存储介质
-
申请号: CN201711012672.4申请日: 2017-10-24
-
公开(公告)号: CN107908672B公开(公告)日: 2022-01-14
- 发明人: 汪亚男 , 李晶 , 冼炳洪 , 肖和兵 , 李朝阳 , 魏小胜 , 王新玉 , 夏佳 , 周东
- 申请人: 深圳前海微众银行股份有限公司
- 申请人地址: 广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)
- 专利权人: 深圳前海微众银行股份有限公司
- 当前专利权人: 深圳前海微众银行股份有限公司
- 当前专利权人地址: 广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)
- 代理机构: 深圳市世纪恒程知识产权代理事务所
- 代理商 胡海国; 赵爱蓉
- 主分类号: G06F16/28
- IPC分类号: G06F16/28 ; G06F16/27 ; G06F16/22 ; G06F16/215
摘要:
本发明公开了一种基于Hadoop平台的应用报表实现方法,包括:将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中,并从中抽取数据进行数据质量校验,若校验通过,则对抽取数据进行转换处理后加载到数据仓库的模型层数据表中,然后再从中抽取数据进行数据质量校验,若校验通过,则对抽取数据进行转换处理后加载到数据仓库的应用层数据表中;对应用层数据表中数据进行数据质量校验,若校验通过,则将应用层数据表作为待上报的应用报表,否则发出校验异常告警。本发明还公开了一种基于Hadoop平台的应用报表实现设备及计算机可读存储介质。本发明可在低成本硬件资源下,实现海量数据报送,并满足高数据质量报送要求。
公开/授权文献
- CN107908672A 基于Hadoop平台的应用报表实现方法、设备及存储介质 公开/授权日:2018-04-13