大数据平台冷热数据自动分层存储方法及智能存储系统
摘要:
本发明公开了大数据平台冷热数据自动分层存储方法及智能存储系统,属于大数据hadoop技术领域,本发明要解决的技术问题为在生产环境中,如何将冷、热数据自动进行分层存储,降低人力管理和数据存储成本,采用的技术方案为:该方法是基于HDFS标签管理器及分层管理器对存储介质进行归类,并对HDFS中不同的存储目录制定不同的存储策略,实现HDFS文件系统及存储介质的有效整合,同时通过构建的智能存储系统的协同工作,构建可视化的大数据平台的HDFS冷、热数据自动分层。该智能存储系统通过整合HDFS文件系统的磁盘和目录,对目录的副本机制及打标签的磁盘进行存储策略管理,定时器、扫描器、规则引擎、迁移器及监控器进行协调工作,自动化完成冷、热数据的分层。
0/0