发明公开
- 专利标题: 海量小文件的处理方法、系统、设备及可读存储介质
-
申请号: CN202410009833.8申请日: 2024-01-02
-
公开(公告)号: CN117827457A公开(公告)日: 2024-04-05
- 发明人: 唐显莉 , 王冀彬 , 陈卓 , 陈乐 , 魏瑗珍
- 申请人: 中移动信息技术有限公司 , 中国移动通信集团有限公司
- 申请人地址: 北京市昌平区未来科学城英才北三街16号院16号楼1006室;
- 专利权人: 中移动信息技术有限公司,中国移动通信集团有限公司
- 当前专利权人: 中移动信息技术有限公司,中国移动通信集团有限公司
- 当前专利权人地址: 北京市昌平区未来科学城英才北三街16号院16号楼1006室;
- 代理机构: 深圳市世纪恒程知识产权代理事务所
- 代理商 林尉
- 主分类号: G06F9/50
- IPC分类号: G06F9/50 ; G06F9/48 ; G06F9/54 ; G06F16/16
摘要:
本申请公开了海量小文件的处理方法、系统、设备及可读存储介质,该方法包括:当接收到采集任务时,获取历史文件采集记录、所述采集任务的大小和采集完成时间;根据所述历史文件采集记录、所述采集任务的大小和所述采集完成时间,确定初始采集节点数量;监测各采集节点的负载信息,并基于各采集节点的负载信息调整所述初始采集节点数量,得到执行所述采集任务的采集节点数量;调度所述采集节点数量的采集节点以执行所述采集任务。实现对采集节点进行动态扩容和缩容,实现对主机资源合理使用的效果。