公开(公告)号：CN116166202B

公开(公告)日：2023-07-21

申请号：CN202310329217.6

申请日：2023-03-30

申请人： 中国华能集团清洁能源技术研究院有限公司

发明人： 冯帆 ,  李小翔 ,  杨永前 ,  韦玮 ,  邸智 ,  付雄 ,  宋朝阳

IPC分类号： G06F3/06 ,  G06F11/14

摘要： 本发明属于数据处理技术领域，具体涉及一种大数据环境下的副本放置方法、装置、设备及介质，本发明方法使用集群映射表的分层设计原理，并为数据存储节点设计温度因子值来解决数据分布和负载均衡问题。根据节点权重的大小来选择分支，保证数据副本会放置在不同的故障域中。并根据存储节点的温度因子来判断存储节点是否I/0繁忙。在某个存储节点被写访问时，增加温度值，如果该存储节点短时间内再次被写访问则加快温度值增加速率，认为该存储节点不应该被多次写访问；若存储节点的温度值较低则认为该存储节点可以放置副本，以此来保证集群的负载均衡。

公开(公告)号：CN116166202A

公开(公告)日：2023-05-26

申请号：CN202310329217.6

申请日：2023-03-30

申请人： 中国华能集团清洁能源技术研究院有限公司

发明人： 冯帆 ,  李小翔 ,  杨永前 ,  韦玮 ,  邸智 ,  付雄 ,  宋朝阳

IPC分类号： G06F3/06 ,  G06F11/14

摘要： 本发明属于数据处理技术领域，具体涉及一种大数据环境下的副本放置方法、装置、设备及介质，本发明方法使用集群映射表的分层设计原理，并为数据存储节点设计温度因子值来解决数据分布和负载均衡问题。根据节点权重的大小来选择分支，保证数据副本会放置在不同的故障域中。并根据存储节点的温度因子来判断存储节点是否I/0繁忙。在某个存储节点被写访问时，增加温度值，如果该存储节点短时间内再次被写访问则加快温度值增加速率，认为该存储节点不应该被多次写访问；若存储节点的温度值较低则认为该存储节点可以放置副本，以此来保证集群的负载均衡。