- 专利标题: 快速迁移多源异构电网大数据到HBase的方法及系统
- 专利标题(英): Method and system for rapidly transferring multi-source heterogeneous power grid big data to HBase
-
申请号: CN201610982635.5申请日: 2016-11-08
-
公开(公告)号: CN106528786A公开(公告)日: 2017-03-22
- 发明人: 林颖 , 张方正 , 苏建军 , 李冬 , 郭志红 , 陈玉峰 , 祝永新 , 盛戈皞 , 李勇 , 吴观斌 , 杨祎 , 朱城铠 , 刘斌 , 王畅 , 马艳 , 李程启 , 耿玉杰 , 白德盟 , 石鑫 , 张雷
- 申请人: 国网山东省电力公司电力科学研究院 , 上海交通大学 , 国家电网公司
- 申请人地址: 山东省济南市市中区望岳路2000号
- 专利权人: 国网山东省电力公司电力科学研究院,上海交通大学,国家电网公司
- 当前专利权人: 国网山东省电力公司电力科学研究院,上海交通大学,国家电网公司
- 当前专利权人地址: 山东省济南市市中区望岳路2000号
- 代理机构: 济南圣达知识产权代理有限公司
- 代理商 黄海丽
- 主分类号: G06F17/30
- IPC分类号: G06F17/30
摘要:
本发明公开了快速迁移多源异构电网大数据到HBase的方法及系统;包括如下步骤:连接电网数据库与HBase数据平台;电网数据库中的每一条数据均存在唯一的标识ID,电网数据库中的每一条数据均由标识ID+数据内容组成;根据唯一的标识ID建立ID映射表;选定数据源后,读取ID映射表,将ID映射表写入内存,ID映射表常驻内存;将ID映射表中的编码分别进行编码压缩,分别形成数据类ID行键和数据类内部ID行键;将数据类ID行键和数据类内部ID行键转化为字节数组;将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。本发明实现了复杂的电力数据格式进行快速迁移。
公开/授权文献
- CN106528786B 快速迁移多源异构电网大数据到HBase的方法及系统 公开/授权日:2019-07-12