计算任务处理方法、装置和系统

    公开(公告)号:CN118916087A

    公开(公告)日:2024-11-08

    申请号:CN202410865467.6

    申请日:2024-06-28

    发明人: 颜廷成

    IPC分类号: G06F9/445 G06F8/41 G06Q10/10

    摘要: 本公开的实施例公开了计算任务处理方法、装置和系统。该方法的具体实施方式包括:响应于检测到启动计算任务,获取任务配置信息;从所述任务配置信息中解析出任务配置对象和处理类;将所述任务配置对象通过计算引擎的开发工具包和所述处理类转换成计算引擎的驱动程序,以供所述计算引擎调用所述驱动程序执行计算任务。该实施方式能够解决复杂数据计算任务的高门槛,高开发成本,运维难度高等问题,通过配置化的方式,以及任务执行引擎对大数据计算框架的适配,屏蔽底层计算框架的差异,使数据开发人员无需分别掌握各种大数据计算框架,降低学习及用人成本。