数据预处理方法和装置
摘要:
本发明公开了一种数据预处理方法和装置,涉及人工智能技术领域。该方法的一具体实施方式包括:从预设的配置文件中确定待处理的目标数据表以及所述目标数据表中待处理的目标列,将确定的目标列组合为预设的表格型数据结构的第一数据对象;依据所述配置文件生成包括多个键值对数据的第二数据对象;其中,每一键值对数据中的键为一种预处理方式,值为所述配置文件所指示的、各目标数据表中使用该预处理方式的目标列的当前标识的集合;根据每一键值对数据中的预处理方式对应的数据预处理工具对第一数据对象中、该键值对数据指示的目标列执行并行处理,得到数据预处理结果。该实施方式能够减轻预处理过程中的人工工作量耗费,提高模型训练效率。
0/0