发明公开
- 专利标题: 一种异构海量数据文件的智能化存储方法
-
申请号: CN202110388858.X申请日: 2021-04-12
-
公开(公告)号: CN113111031A公开(公告)日: 2021-07-13
- 发明人: 李世彬 , 江明哲 , 赵卓宁 , 刘魁
- 申请人: 成都淞幸科技有限责任公司 , 成都信息工程大学
- 申请人地址: 四川省成都市高新区紫荆南路23号;
- 专利权人: 成都淞幸科技有限责任公司,成都信息工程大学
- 当前专利权人: 成都淞幸科技有限责任公司,成都信息工程大学
- 当前专利权人地址: 四川省成都市高新区紫荆南路23号;
- 代理机构: 成都金英专利代理事务所
- 代理商 袁英
- 主分类号: G06F16/11
- IPC分类号: G06F16/11 ; G06F16/182
摘要:
本发明公开了一种异构海量数据文件的智能化存储方法,包括以下步骤:参数配置,根据配置文件中用户配置的参数来配置HDFS的块容积参数以及有效时长参数;参数执行,当系统接收到上传文件请求时,对块容积参数的有效性进行检测,并根据检测结果将配置的参数加载到系统中;文件存储,对上传文件请求中的文件实际大小进行分析,通过配置HDFS的块容积大小与文件实际大小比较,根据比较结果选择对应的存储方式存储到对应的系统中。本发明中用户只需通过配置一些必要的参数,就能够根据参数的设定,智能选择存储方式,自动实现不同大小文件的分类存储,提高了数据存储效率。