一种飞行器海量传感器试验数据的快速处理方法

    公开(公告)号:CN108132986B

    公开(公告)日:2020-06-16

    申请号:CN201711339536.6

    申请日:2017-12-14

    IPC分类号: G06F16/182 G06F16/10

    摘要: 本发明公开了一种飞行器海量传感器试验数据的快速处理方法,所述方法包括:步骤1)采集飞行器传感器下传的原始并行数据,对并行数据进行切割,生成若干个原始数据包,上传至HDFS文件;步骤2)对原始数据包进行数据解析,得到时间对齐后的标准化数据;步骤3)将时间对齐后的标准化数据进行导出,生成列式数据,将每一列的数据分配到spark集群的每个计算机中进行分布式计算。本发明的方法可以尽可能减少分布式计算集群之间的数据通信,所有线程能够在互不干扰的情况下共享相同的资源,进而显著提高数据处理的速度;此外,本发明的方法能够提高飞行器试验数据处理的效率,缩短两次试验的时间间隔。

    一种基于大数据融合聚类分析的关联参数故障分类方法

    公开(公告)号:CN106845526B

    公开(公告)日:2019-12-03

    申请号:CN201611247433.2

    申请日:2016-12-29

    IPC分类号: G06K9/62

    摘要: 本发明提供的一种基于大数据融合聚类分析的关联参数故障分类方法,本发明的故障分类方法从装备运行的海量数据中,根据判读规则挑选故障数据,并进行有监督的机器自主聚类,形成关联参数故障自动分类结果,能够解决目前装备故障诊断过度依赖专家知识库,而忽略了各子系统间深度非线性耦合的参数之间的关联关系的问题,以及实际装备型号运行中海量有效数据没有获得很好的挖掘利用的问题;同时,由于本发明的故障分类方法的实施无需依赖于对对象装备的精确物理建模,因此避免了传统复杂系统难以建模的难处,实现了基于海量数据挖掘的故障智能分类及关联参数分析,具有准确率可控的故障分类能力。

    一种自动化部署Web应用环境的方法

    公开(公告)号:CN106843936B

    公开(公告)日:2019-12-10

    申请号:CN201611247452.5

    申请日:2016-12-29

    IPC分类号: G06F8/71 G06F8/61 G06F9/445

    摘要: 本发明提供了一种自动化部署Web应用环境的方法,通过集成化工程项目体系框架的Java JDK、tomcat服务器、mysql数据库,使用大量的脚本语言控制各部分的启动运行以及相互调用,并在环境中设定环境的日志输出位置以监控环境的运行情况及设置备份数据目录用于项目数据备份,从而提供一套完整的web应用库。能够为包括J2EE在内的项目提供快速并高效的部署方式,能够封闭项目环境安装过程中存在的各种问题,降低实施工程师的能力和水平,大大降低项目在实施过程中的错误率。

    一种基于大数据融合聚类分析的关联参数故障分类方法

    公开(公告)号:CN106845526A

    公开(公告)日:2017-06-13

    申请号:CN201611247433.2

    申请日:2016-12-29

    IPC分类号: G06K9/62

    摘要: 本发明提供的一种基于大数据融合聚类分析的关联参数故障分类方法,本发明的故障分类方法从装备运行的海量数据中,根据判读规则挑选故障数据,并进行有监督的机器自主聚类,形成关联参数故障自动分类结果,能够解决目前装备故障诊断过度依赖专家知识库,而忽略了各子系统间深度非线性耦合的参数之间的关联关系的问题,以及实际装备型号运行中海量有效数据没有获得很好的挖掘利用的问题;同时,由于本发明的故障分类方法的实施无需依赖于对对象装备的精确物理建模,因此避免了传统复杂系统难以建模的难处,实现了基于海量数据挖掘的故障智能分类及关联参数分析,具有准确率可控的故障分类能力。

    一种自动化部署Web应用环境的方法

    公开(公告)号:CN106843936A

    公开(公告)日:2017-06-13

    申请号:CN201611247452.5

    申请日:2016-12-29

    IPC分类号: G06F9/445 G06F9/44

    摘要: 本发明提供了一种自动化部署Web应用环境的方法,通过集成化工程项目体系框架的Java JDK、tomcat服务器、mysql数据库,使用大量的脚本语言控制各部分的启动运行以及相互调用,并在环境中设定环境的日志输出位置以监控环境的运行情况及设置备份数据目录用于项目数据备份,从而提供一套完整的web应用库。能够为包括J2EE在内的项目提供快速并高效的部署方式,能够封闭项目环境安装过程中存在的各种问题,降低实施工程师的能力和水平,大大降低项目在实施过程中的错误率。

    一种基于PaaS平台的工业大数据计算架构

    公开(公告)号:CN107864222A

    公开(公告)日:2018-03-30

    申请号:CN201711338413.0

    申请日:2017-12-14

    IPC分类号: H04L29/08 G06F9/50 G06F17/30

    摘要: 本发明公开了一种基于PaaS平台的工业大数据计算架构,从上到下依次包括:接口层、数据服务层和数据支持层;所述数据服务层连接实时数据层和历史数据层;所述数据支持层连接信息管理层和集群管理层;所述接口层,用于提供对外接口服务;所述数据服务层,用于提供数据应用服务;所述数据支持层,用于提供基于Docker容器的PaaS云平台层,通过监控集群的负载情况,分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源;所述信息管理层,用于管理数据支持层的各项资源配置信息和数据库,通过Hana数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务;所述集群管理层,用于管理数据支持层的支持和调度资源。

    一种基于PaaS平台的工业大数据计算系统

    公开(公告)号:CN107864222B

    公开(公告)日:2020-06-16

    申请号:CN201711338413.0

    申请日:2017-12-14

    摘要: 本发明公开了一种基于PaaS平台的工业大数据计算架构,从上到下依次包括:接口层、数据服务层和数据支持层;所述数据服务层连接实时数据层和历史数据层;所述数据支持层连接信息管理层和集群管理层;所述接口层,用于提供对外接口服务;所述数据服务层,用于提供数据应用服务;所述数据支持层,用于提供基于Docker容器的PaaS云平台层,通过监控集群的负载情况,分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源;所述信息管理层,用于管理数据支持层的各项资源配置信息和数据库,通过Hana数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务;所述集群管理层,用于管理数据支持层的支持和调度资源。

    一种飞行器海量传感器试验数据的快速处理方法

    公开(公告)号:CN108132986A

    公开(公告)日:2018-06-08

    申请号:CN201711339536.6

    申请日:2017-12-14

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种飞行器海量传感器试验数据的快速处理方法,所述方法包括:步骤1)采集飞行器传感器下传的原始并行数据,对并行数据进行切割,生成若干个原始数据包,上传至HDFS文件;步骤2)对原始数据包进行数据解析,得到时间对齐后的标准化数据;步骤3)将时间对齐后的标准化数据进行导出,生成列式数据,将每一列的数据分配到spark集群的每个计算机中进行分布式计算。本发明的方法可以尽可能减少分布式计算集群之间的数据通信,所有线程能够在互不干扰的情况下共享相同的资源,进而显著提高数据处理的速度;此外,本发明的方法能够提高飞行器试验数据处理的效率,缩短两次试验的时间间隔。