-
公开(公告)号:CN106528786B
公开(公告)日:2019-07-12
申请号:CN201610982635.5
申请日:2016-11-08
申请人: 国网山东省电力公司电力科学研究院 , 上海交通大学 , 国家电网公司
发明人: 林颖 , 牛进苍 , 苏建军 , 李冬 , 郭志红 , 陈玉峰 , 祝永新 , 盛戈皞 , 李勇 , 吴观斌 , 杨祎 , 朱城铠 , 刘斌 , 王畅 , 马艳 , 李程启 , 耿玉杰 , 白德盟 , 石鑫
摘要: 本发明公开了快速迁移多源异构电网大数据到HBase的方法及系统;包括如下步骤:连接电网数据库与HBase数据平台;电网数据库中的每一条数据均存在唯一的标识ID,电网数据库中的每一条数据均由标识ID+数据内容组成;根据唯一的标识ID建立ID映射表;选定数据源后,读取ID映射表,将ID映射表写入内存,ID映射表常驻内存;将ID映射表中的编码分别进行编码压缩,分别形成数据类ID行键和数据类内部ID行键;将数据类ID行键和数据类内部ID行键转化为字节数组;将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。本发明实现了复杂的电力数据格式进行快速迁移。
-
公开(公告)号:CN106528786A
公开(公告)日:2017-03-22
申请号:CN201610982635.5
申请日:2016-11-08
申请人: 国网山东省电力公司电力科学研究院 , 上海交通大学 , 国家电网公司
发明人: 林颖 , 张方正 , 苏建军 , 李冬 , 郭志红 , 陈玉峰 , 祝永新 , 盛戈皞 , 李勇 , 吴观斌 , 杨祎 , 朱城铠 , 刘斌 , 王畅 , 马艳 , 李程启 , 耿玉杰 , 白德盟 , 石鑫 , 张雷
IPC分类号: G06F17/30
CPC分类号: G06F16/221 , G06F16/214 , G06F16/27 , G06F16/284
摘要: 本发明公开了快速迁移多源异构电网大数据到HBase的方法及系统;包括如下步骤:连接电网数据库与HBase数据平台;电网数据库中的每一条数据均存在唯一的标识ID,电网数据库中的每一条数据均由标识ID+数据内容组成;根据唯一的标识ID建立ID映射表;选定数据源后,读取ID映射表,将ID映射表写入内存,ID映射表常驻内存;将ID映射表中的编码分别进行编码压缩,分别形成数据类ID行键和数据类内部ID行键;将数据类ID行键和数据类内部ID行键转化为字节数组;将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。本发明实现了复杂的电力数据格式进行快速迁移。
-