Invention Grant
- Patent Title: 快速迁移多源异构电网大数据到HBase的方法及系统
-
Application No.: CN201610982635.5Application Date: 2016-11-08
-
Publication No.: CN106528786BPublication Date: 2019-07-12
- Inventor: 林颖 , 牛进苍 , 苏建军 , 李冬 , 郭志红 , 陈玉峰 , 祝永新 , 盛戈皞 , 李勇 , 吴观斌 , 杨祎 , 朱城铠 , 刘斌 , 王畅 , 马艳 , 李程启 , 耿玉杰 , 白德盟 , 石鑫
- Applicant: 国网山东省电力公司电力科学研究院 , 上海交通大学 , 国家电网公司
- Applicant Address: 山东省济南市市中区望岳路2000号
- Assignee: 国网山东省电力公司电力科学研究院,上海交通大学,国家电网公司
- Current Assignee: 国网山东省电力公司电力科学研究院,上海交通大学,国家电网公司
- Current Assignee Address: 山东省济南市市中区望岳路2000号
- Agency: 济南圣达知识产权代理有限公司
- Agent 黄海丽
- Main IPC: G06F16/21
- IPC: G06F16/21 ; G06F16/22 ; G06F16/27 ; G06F16/28

Abstract:
本发明公开了快速迁移多源异构电网大数据到HBase的方法及系统;包括如下步骤:连接电网数据库与HBase数据平台;电网数据库中的每一条数据均存在唯一的标识ID,电网数据库中的每一条数据均由标识ID+数据内容组成;根据唯一的标识ID建立ID映射表;选定数据源后,读取ID映射表,将ID映射表写入内存,ID映射表常驻内存;将ID映射表中的编码分别进行编码压缩,分别形成数据类ID行键和数据类内部ID行键;将数据类ID行键和数据类内部ID行键转化为字节数组;将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。本发明实现了复杂的电力数据格式进行快速迁移。
Public/Granted literature
- CN106528786A 快速迁移多源异构电网大数据到HBase的方法及系统 Public/Granted day:2017-03-22
Information query