发明公开
- 专利标题: 一种向Hbase中批量写入海量电力量测数据的方法
-
申请号: CN202010194317.9申请日: 2020-03-19
-
公开(公告)号: CN113220775A公开(公告)日: 2021-08-06
- 发明人: 彭飞 , 张晓华 , 安天瑜 , 李丹 , 邵广惠 , 高德宾 , 王汉军 , 向勇 , 马煜 , 孟庆东 , 罗锋 , 吴奕 , 田长翼 , 安丰强 , 王欣 , 刘红叶
- 申请人: 国家电网公司东北分部 , 中国科学院沈阳计算技术研究所有限公司
- 申请人地址: 辽宁省沈阳市浑南新区营盘北街1号;
- 专利权人: 国家电网公司东北分部,中国科学院沈阳计算技术研究所有限公司
- 当前专利权人: 国家电网公司东北分部,中国科学院沈阳计算技术研究所有限公司
- 当前专利权人地址: 辽宁省沈阳市浑南新区营盘北街1号;
- 代理机构: 沈阳科苑专利商标代理有限公司
- 代理商 许宗富
- 主分类号: G06F16/27
- IPC分类号: G06F16/27 ; G06Q50/06 ; G06F16/25
摘要:
本发明涉及一种向Hbase中批量写入海量电力量测数据的方法,包括:获取采集量测数据,将获取的数据按哈希表HashMap存储,再转存为txt文件格式作为数据源存储至Hadoop分布式文件系统HDFS;结合采集量测数据在分布式列式存储数据库Hbase中建立相对应的存储模型,用于存储各个测点在监测时间点的量测数据;读取数据源进行封装行键格式,然后将封装后的数据再回写到HDFS上,以HFile的文件形式存储到HDFS指定的目录中;使用HBaseBulkLoad将生成的Hfile文件导入到分布式列式存储Hbase,实现电力数据的写入。本方法完全可以保证数据的准确性、全面性及可靠性,运行效率大大提高。