公开(公告)号：CN117785052A

公开(公告)日：2024-03-29

申请号：CN202311827428.9

申请日：2023-12-28

申请人： 浪潮软件科技有限公司

发明人： 刘金革 ,  李存冰 ,  王慧 ,  陈焕新 ,  吴镝 ,  王玲 ,  郝奥炬

IPC分类号： G06F3/06

摘要： 本发明提供一种基于分布式存储系统的数据缓存加速的方法，属于大数据、分布式存储领域，在计算框架与存储层之间设计了分布式存储系统，分布式存储系统通过将存储层中的异构存储进行统一接入，为计算框架和存储层构建了桥梁,使存储与计算实现了分离。同时，分布式存储系统设计了全局的命名空间、接口适配器，为计算框架提供了统一的API和全局命名空间。另外，基于内存的分布式设计和LFU、LRU算法，分布式存储系统将存储层中的访问数据拉取到本地的内存中，并根据LFU、LRU等算法对数据进行淘汰，当拉取的数据量达到预设的容量限制后，将会触发内存数据淘汰机制，从而使得热点数据总是存储在分布式存储系统的内存中，因此大大提升了热点数据的访问速度。

公开(公告)号：CN117435132A

公开(公告)日：2024-01-23

申请号：CN202311363717.8

申请日：2023-10-20

申请人： 浪潮软件科技有限公司

发明人： 刘金革 ,  张峰 ,  王慧 ,  陈焕新 ,  李存冰 ,  李照川 ,  郝奥炬 ,  吴镝

IPC分类号： G06F3/06

摘要： 本发明公开了大数据平台冷热数据自动分层存储方法及智能存储系统，属于大数据hadoop技术领域，本发明要解决的技术问题为在生产环境中，如何将冷、热数据自动进行分层存储，降低人力管理和数据存储成本，采用的技术方案为：该方法是基于HDFS标签管理器及分层管理器对存储介质进行归类，并对HDFS中不同的存储目录制定不同的存储策略，实现HDFS文件系统及存储介质的有效整合，同时通过构建的智能存储系统的协同工作，构建可视化的大数据平台的HDFS冷、热数据自动分层。该智能存储系统通过整合HDFS文件系统的磁盘和目录，对目录的副本机制及打标签的磁盘进行存储策略管理，定时器、扫描器、规则引擎、迁移器及监控器进行协调工作，自动化完成冷、热数据的分层。

公开(公告)号：CN117687838A

公开(公告)日：2024-03-12

申请号：CN202311567813.4

申请日：2023-11-23

申请人： 浪潮软件科技有限公司

发明人： 李洋 ,  陈焕新 ,  刘金革 ,  李存冰 ,  王慧 ,  郝奥炬 ,  吴镝 ,  张艳华

IPC分类号： G06F11/14

摘要： 本发明提供一种HBase基于离线数据的数据恢复的方法，属于大数据领域，本发明包括以下步骤：制定数据恢复方案；根据所述方案，实行数据迁移及恢复，并对数据进行完整性检验；记录数据恢复过程，生成日志。具有高效、可靠、灵活、易用、安全和可扩展等有益效果。