一种装载引擎使用方法
摘要:
本申请涉及大数据处理技术领域,特别是涉及一种装载引擎使用方法。包括:根据装载程序需求配置设定装载程序等级并生成装载程序对应装载ID,装载程序包括若干调度任务;获取装载程序信息,并运行装载程序;初始化数据队列,初始化异常数据回收线程、初始化性能统计线程和初始化数据拉取线程;判断是否存在同步域任务,并根据判断结果设定数据初始化程序,当执行完数据初始化程序时对待装载数据进行入库处理。根据配置装载程序运行多个调度任务,一个调度任务运行一种具体的插件。多个存在数据一致性要求的调度任务,构建成一个同步区域处于同一同步区域的调度任务,需要确保数据一致性。多进程并行处理同一份数据实现不同处理需求的数据装载框架。
公开/授权文献
0/0