快速迁移多源异构电网大数据到HBase的方法及系统
摘要:
本发明公开了快速迁移多源异构电网大数据到HBase的方法及系统;包括如下步骤:连接电网数据库与HBase数据平台;电网数据库中的每一条数据均存在唯一的标识ID,电网数据库中的每一条数据均由标识ID+数据内容组成;根据唯一的标识ID建立ID映射表;选定数据源后,读取ID映射表,将ID映射表写入内存,ID映射表常驻内存;将ID映射表中的编码分别进行编码压缩,分别形成数据类ID行键和数据类内部ID行键;将数据类ID行键和数据类内部ID行键转化为字节数组;将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。本发明实现了复杂的电力数据格式进行快速迁移。
0/0