公开(公告)号：CN116842023A

公开(公告)日：2023-10-03

申请号：CN202310753216.4

申请日：2023-06-25

申请人： 中国烟草总公司云南省公司

发明人： 刘凯 ,  赵旻 ,  鄢达铸 ,  杨耀景 ,  杨贾 ,  张莨 ,  李敏航 ,  李玉超

IPC分类号： G06F16/23 ,  G06F16/25 ,  G06F16/182

摘要： 本发明属于数据处理技术领域，具体涉及一种数据入湖自动化系统及方法。所述数据入湖自动化系统包括数据入湖模块、自动化模块、数据管理模块。所述数据入湖模块用于全量数据和增量数据摄取并写入数据湖中，包括全量数据摄取单元和增量数据摄取单元；所述自动化模块对整个任务进行编排，数据摄取入湖过程中对整个数据入湖过程的工作进行编排；数据管理模块用于接收自动化模块发送的数据源的元数据信息和对入湖的数据进行分析。本发明整个数据摄取入湖过程采用全自动处理方式，大大减少工作量，提高工作质量，减少出错的概率。