海量小文件的处理方法、系统、设备及可读存储介质
摘要:
本申请公开了海量小文件的处理方法、系统、设备及可读存储介质,该方法包括:当接收到采集任务时,获取历史文件采集记录、所述采集任务的大小和采集完成时间;根据所述历史文件采集记录、所述采集任务的大小和所述采集完成时间,确定初始采集节点数量;监测各采集节点的负载信息,并基于各采集节点的负载信息调整所述初始采集节点数量,得到执行所述采集任务的采集节点数量;调度所述采集节点数量的采集节点以执行所述采集任务。实现对采集节点进行动态扩容和缩容,实现对主机资源合理使用的效果。
0/0