一种向Hbase中批量写入海量电力量测数据的方法
摘要:
本发明涉及一种向Hbase中批量写入海量电力量测数据的方法,包括:获取采集量测数据,将获取的数据按哈希表HashMap存储,再转存为txt文件格式作为数据源存储至Hadoop分布式文件系统HDFS;结合采集量测数据在分布式列式存储数据库Hbase中建立相对应的存储模型,用于存储各个测点在监测时间点的量测数据;读取数据源进行封装行键格式,然后将封装后的数据再回写到HDFS上,以HFile的文件形式存储到HDFS指定的目录中;使用HBaseBulkLoad将生成的Hfile文件导入到分布式列式存储Hbase,实现电力数据的写入。本方法完全可以保证数据的准确性、全面性及可靠性,运行效率大大提高。
0/0