发明公开
- 专利标题: 基于迁移均衡策略的用电信息分布式文件存储方法与装置
- 专利标题(英): Migration balancing policy based electricity-consuming information distributed file storage method and apparatus
-
申请号: CN201510502666.1申请日: 2015-08-14
-
公开(公告)号: CN105183371A公开(公告)日: 2015-12-23
- 发明人: 史玉良 , 李庆忠 , 张晖 , 管永明 , 吕梁
- 申请人: 山东大学 , 山大地纬软件股份有限公司
- 申请人地址: 山东省济南市历城区山大南路27号
- 专利权人: 山东大学,山大地纬软件股份有限公司
- 当前专利权人: 山东大学,山大地纬软件股份有限公司
- 当前专利权人地址: 山东省济南市历城区山大南路27号
- 代理机构: 济南圣达知识产权代理有限公司
- 代理商 赵妍
- 主分类号: G06F3/06
- IPC分类号: G06F3/06 ; G06F17/30
摘要:
本发明公开了基于迁移均衡策略的用电信息分布式文件存储方法与装置,数据采集模块将原始数据帧进行解析得到原始数据,以文件形式存入本地磁盘模块,将原始数据帧上传至关系数据库和MongoDB数据库;检测本地磁盘模块中文件的信息,选择是否将文件上传至数据存储模块;MongoDB数据库采用迁移均衡策略通过路由在mongos获取分片所在的节点负载,从数据量和负载两方面实现均衡;大数据管理引擎定时监测未进行数据转存计算的文件信息,将文件从MongoDB数据库提取,以时间为标签;将从MongoDB数据库提取到的文件数据转化为数据字符流,计算得到业务数据;最后进行数据持久化。实现用电信息大数据的高效存储,满足用电信息采集系统用电大数据存储容量、存储速率需求。