发明公开
- 专利标题: 大数据平台冷热数据自动分层存储方法及智能存储系统
-
申请号: CN202311363717.8申请日: 2023-10-20
-
公开(公告)号: CN117435132A公开(公告)日: 2024-01-23
- 发明人: 刘金革 , 张峰 , 王慧 , 陈焕新 , 李存冰 , 李照川 , 郝奥炬 , 吴镝
- 申请人: 浪潮软件科技有限公司
- 申请人地址: 山东省济南市高新区浪潮路1036号浪潮科技园
- 专利权人: 浪潮软件科技有限公司
- 当前专利权人: 浪潮软件科技有限公司
- 当前专利权人地址: 山东省济南市高新区浪潮路1036号浪潮科技园
- 代理机构: 济南信达专利事务所有限公司
- 代理商 孙园园
- 主分类号: G06F3/06
- IPC分类号: G06F3/06
摘要:
本发明公开了大数据平台冷热数据自动分层存储方法及智能存储系统,属于大数据hadoop技术领域,本发明要解决的技术问题为在生产环境中,如何将冷、热数据自动进行分层存储,降低人力管理和数据存储成本,采用的技术方案为:该方法是基于HDFS标签管理器及分层管理器对存储介质进行归类,并对HDFS中不同的存储目录制定不同的存储策略,实现HDFS文件系统及存储介质的有效整合,同时通过构建的智能存储系统的协同工作,构建可视化的大数据平台的HDFS冷、热数据自动分层。该智能存储系统通过整合HDFS文件系统的磁盘和目录,对目录的副本机制及打标签的磁盘进行存储策略管理,定时器、扫描器、规则引擎、迁移器及监控器进行协调工作,自动化完成冷、热数据的分层。