批量数据处理方法及系统、介质、设备
摘要:
本发明提供一种批量数据处理方法及装置、介质、设备。该方法包括:接收批量处理需求;根据所述数据源标识,获取对应的数据抽取规则;根据所述目标数据库标识,获取对应的格式转换原则;根据所述数据抽取规则,从所述数据源标识对应的数据源进行数据抽取,得到原始抽取数据;对所述原始抽取数据进行数据清洗,得到清洗后抽取数据;根据所述格式转换原则,对所述清洗后抽取数据进行格式转换,得到目标格式的抽取数据;将所述目标格式的抽取数据批量加载至所述目标数据库标识对应的目标数据库中。本发明实施例可以实现数据的自动抽取、转换和加载,不必耗费大量的人力和时间,不容易出错,提高了数据的准确性和效率,适合处理海量数据。
0/0