发明公开
- 专利标题: 一种基于关系型数据库转存大数据平台的方法及系统
- 专利标题(英): Relational database-based big data platform unloading method and system
-
申请号: CN201810313923.0申请日: 2018-04-09
-
公开(公告)号: CN108763276A公开(公告)日: 2018-11-06
- 发明人: 盛万兴 , 刘海涛 , 吕广宪 , 刘鹏 , 王猛 , 陆一鸣 , 王立岩
- 申请人: 中国电力科学研究院有限公司 , 国家电网公司 , 国网浙江省电力有限公司
- 申请人地址: 北京市海淀区清河小营东路15号; ;
- 专利权人: 中国电力科学研究院有限公司,国家电网公司,国网浙江省电力有限公司
- 当前专利权人: 中国电力科学研究院有限公司,国家电网公司,国网浙江省电力有限公司
- 当前专利权人地址: 北京市海淀区清河小营东路15号; ;
- 代理机构: 北京安博达知识产权代理有限公司
- 代理商 徐国文
- 主分类号: G06F17/30
- IPC分类号: G06F17/30
摘要:
一种基于关系型数据库转存大数据平台的方法及系统,包括:在关系型数据库文件中抽取待转存的数据,并转换为大数据平台指定的格式文件;如果所述关系型数据库与大数据平台在同一个网络环境中时,将所述指定格式的文件存储至获取的分布式文件系统路径中;否则通过中间媒介将所述指定格式的文件存储至获取的分布式文件系统路径中。本发明从数据库数据源简单快速的解析数据到大数据平台中,与传统的ETL工具相比,解决了ETL只能转存关系型数据源和大数据平台在同一网络的缺点,从而满足了不同的网络环境要求,进而提高了效率。