一种基于任务可视化拖拽的spark机器学习系统及学习方法

    公开(公告)号:CN111240662B

    公开(公告)日:2024-01-09

    申请号:CN202010059133.1

    申请日:2020-01-16

    摘要: 本发明公开了一种基于任务可视化拖拽的spark机器学习系统及方法,该系统包括流程设计器、流程解析器与流程调度器;所述方法包括将数据源组件、数据预处理组件、机器学习组件、保存组件拖拽到设计区构建机器学习流程,并生成流程描述语言;解析用户构建的机器学习流程图,对各个组件之间的关系、输入、输出进行解析,通过设计的算法将流程图翻译为一套调度器可识别的数据;解析可识别的数据,将构建的机(56)对比文件Zhixiang Wang 等.Distributed Big DataMining Platform for Smart Grid《.2018 IEEEInternational Conference on Big Data (BigData)》.2019,2345-2354.赵玲玲 等.基于Spark的流程化机器学习分析方法《.计算机系统应用》.2016,第25卷(第12期),162-168.钟华等.科学大数据智能分析软件的现状与趋势《.中国科学院院刊》.2018,第33卷(第8期),812-817.

    一种可视化的自然语言分析挖掘系统及其建模方法

    公开(公告)号:CN111259064B

    公开(公告)日:2023-07-28

    申请号:CN202010025564.6

    申请日:2020-01-10

    摘要: 本发明公开了一种可视化的自然语言分析挖掘系统及其建模方法,所述系统包括可视化算法组件模块、后台分析模块、存储模块、结果展示模块与模型再训练模块;所述建模方法包括选择预设计的图形化算法组件拖拽至画布构建具体的自然语言分析挖掘流程,确定流程过程中各算法之间的数据流向,生成流程描述语言,并发送请求到后台分析模块;后台分析模块对流程DAG图进行逻辑解析,采用拓扑排序算法生成组件的调用顺序序列;按照流程描述语言执行具体的挖掘分析逻辑;流程技术生成结构化的分析结果,并使用存储模块进行存储;对分析结果进行查看并审核;对审核后的数据通过用户算法模型再优化训练。