数据加工系统的数据加工方法及数据加工系统

    公开(公告)号:CN117708800A

    公开(公告)日:2024-03-15

    申请号:CN202311703877.2

    申请日:2023-12-12

    IPC分类号: G06F21/53 G06F21/62

    摘要: 本申请公开了一种数据加工系统的数据加工方法及数据加工系统,属于数据处理技术领域。方法包括:通过调度平台将数据加工脚本发送至数据加工脚本对应的Python沙箱;通过Python沙箱执行数据加工脚本,基于Python沙箱的JDBC,从数据库读取数据加工脚本对应的待加工数据进行加工,得到数据加工信息;通过Python沙箱将数据加工信息发送至调度平台。数据加工系统的数据加工方法通过在Python沙箱中运行数据加工脚本,实现安全管控和资源隔离,保障了数据加工过程的高效、安全性和稳定性,保护了数据的隐私和机密性,通过JDBC,能够从不同类型的数据库中调取待加工数据。

    设计器及引擎分离重用的数据分析系统设计方法及装置

    公开(公告)号:CN115826961A

    公开(公告)日:2023-03-21

    申请号:CN202211362573.X

    申请日:2022-11-02

    IPC分类号: G06F8/36 G06F9/48

    摘要: 本申请公开了一种设计器及引擎分离重用的数据分析系统设计方法及装置,属于数据分析技术领域。本申请的设计器及引擎分离重用的数据分析系统设计方法包括:获取多个候选模型和多个候选执行引擎,所述候选模型基于候选设计器设计得到,所述候选模型与所述候选设计器一一对应,所述候选设计器与所述候选执行引擎相互分离;基于目标调度策略,对所述多个候选模型中的目标模型进行预加载,并从所述多个候选执行引擎中确定目标执行引擎;基于所述目标执行引擎执行所述目标模型,输出执行结果。本申请的设计器及引擎分离重用的数据分析系统设计方法,实现了设计器和执行引擎的分离以及复用,降低了用户学习成本,提高了用户使用体验。

    设计器及引擎分离重用的数据分析系统设计方法及装置

    公开(公告)号:CN115826961B

    公开(公告)日:2023-09-22

    申请号:CN202211362573.X

    申请日:2022-11-02

    IPC分类号: G06F8/36 G06F9/48

    摘要: 本申请公开了一种设计器及引擎分离重用的数据分析系统设计方法及装置,属于数据分析技术领域。本申请的设计器及引擎分离重用的数据分析系统设计方法包括:获取多个候选模型和多个候选执行引擎,所述候选模型基于候选设计器设计得到,所述候选模型与所述候选设计器一一对应,所述候选设计器与所述候选执行引擎相互分离;基于目标调度策略,对所述多个候选模型中的目标模型进行预加载,并从所述多个候选执行引擎中确定目标执行引擎;基于所述目标执行引擎执行所述目标模型,输出执行结果。本申请的设计器及引擎分离重用的数据分析系统设计方法,实现了设计器和执行引擎的分离以及复用,降低了用户学习成本,提高了用户使用体验。