发明公开
- 专利标题: 批量数据处理方法及系统、介质、设备
-
申请号: CN202410599325.X申请日: 2024-05-15
-
公开(公告)号: CN118535626A公开(公告)日: 2024-08-23
- 发明人: 张宜梅 , 陈尧 , 张目飞
- 申请人: 浪潮云信息技术股份公司
- 申请人地址: 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼
- 专利权人: 浪潮云信息技术股份公司
- 当前专利权人: 浪潮云信息技术股份公司
- 当前专利权人地址: 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼
- 代理机构: 济南信达专利事务所有限公司
- 代理商 李世喆; 姜鹏
- 主分类号: G06F16/25
- IPC分类号: G06F16/25 ; G06F16/215
摘要:
本发明提供一种批量数据处理方法及装置、介质、设备。该方法包括:接收批量处理需求;根据所述数据源标识,获取对应的数据抽取规则;根据所述目标数据库标识,获取对应的格式转换原则;根据所述数据抽取规则,从所述数据源标识对应的数据源进行数据抽取,得到原始抽取数据;对所述原始抽取数据进行数据清洗,得到清洗后抽取数据;根据所述格式转换原则,对所述清洗后抽取数据进行格式转换,得到目标格式的抽取数据;将所述目标格式的抽取数据批量加载至所述目标数据库标识对应的目标数据库中。本发明实施例可以实现数据的自动抽取、转换和加载,不必耗费大量的人力和时间,不容易出错,提高了数据的准确性和效率,适合处理海量数据。