发明授权
- 专利标题: 一种装载引擎使用方法
-
申请号: CN202310274730.X申请日: 2023-03-17
-
公开(公告)号: CN116225660B公开(公告)日: 2024-02-27
- 发明人: 张慧娜 , 郭磊 , 刘琳璘 , 张洪卫
- 申请人: 中国华能集团有限公司北京招标分公司 , 华能信息技术有限公司
- 申请人地址: 北京市昌平区未来科学城七北路10号院8号楼5-7层
- 专利权人: 中国华能集团有限公司北京招标分公司,华能信息技术有限公司
- 当前专利权人: 中国华能集团有限公司北京招标分公司,华能信息技术有限公司
- 当前专利权人地址: 北京市昌平区未来科学城七北路10号院8号楼5-7层
- 代理机构: 北京睿博行远知识产权代理有限公司
- 代理商 王攀
- 主分类号: G06F9/48
- IPC分类号: G06F9/48 ; G06F9/445 ; G06F9/50
摘要:
本申请涉及大数据处理技术领域,特别是涉及一种装载引擎使用方法。包括:根据装载程序需求配置设定装载程序等级并生成装载程序对应装载ID,装载程序包括若干调度任务;获取装载程序信息,并运行装载程序;初始化数据队列,初始化异常数据回收线程、初始化性能统计线程和初始化数据拉取线程;判断是否存在同步域任务,并根据判断结果设定数据初始化程序,当执行完数据初始化程序时对待装载数据进行入库处理。根据配置装载程序运行多个调度任务,一个调度任务运行一种具体的插件。多个存在数据一致性要求的调度任务,构建成一个同步区域处于同一同步区域的调度任务,需要确保数据一致性。多进程并行处理同一份数据实现不同处理需求的数据装载框架。
公开/授权文献
- CN116225660A 一种装载引擎使用方法 公开/授权日:2023-06-06