公开(公告)号：CN112700622B

公开(公告)日：2022-05-17

申请号：CN202011519895.1

申请日：2020-12-21

申请人： 中铁二院工程集团有限责任公司

发明人： 王珣 ,  陆鑫 ,  袁焦 ,  伏坤 ,  金劭南 ,  杨科 ,  刘勇 ,  潘兆马 ,  邹文露 ,  余博 ,  杨俊超 ,  杨学锋 ,  徐鑫 ,  杨森 ,  姚书琴 ,  裴起帆

IPC分类号： G08B21/10 ,  G01D21/02 ,  G06K9/62 ,  H04L67/10

摘要： 本发明公开了一种基于storm的铁路地质灾害监测大数据预处理方法及系统，包括：基于开源流计算storm框架为每个监测点的每个传感器数据提供并行的子计算模块，在每个子计算模块中实现铁路地质灾害监测大数据ETL处理，实现对不同监测点的多种传感器数据的实时并行预处理，有效提高数据处理效率、提高数据清洗质量；有效解决传统方法串行处理执行效率不高、不能满足监测大数据的处理需求的问题，能够满足铁路地质灾害监测数据预处理的实时性、时效性、高精度等要求，适用于复杂铁路地质灾害监测大数据实时分析与预警应用场景；同时，本发明所提供的基于storm的ELT处理方法同样也适用于其它存在多个工程监测点、多种监测数据的复杂工程。

公开(公告)号：CN112765211A

公开(公告)日：2021-05-07

申请号：CN202011637222.6

申请日：2020-12-31

申请人： 中铁二院工程集团有限责任公司

发明人： 袁焦 ,  陆鑫 ,  王珣 ,  王晖 ,  伏坤 ,  杨科 ,  邹文露 ,  余博 ,  金劭南 ,  刘勇 ,  徐鑫 ,  潘兆马 ,  杨学锋 ,  杨森 ,  姚书琴 ,  裴起帆

IPC分类号： G06F16/2455 ,  G06F16/2458

摘要： 本发明公开了一种铁路地质灾害监测分布式数据库集群扩展方法及系统，包括：获取用户的节点扩展请求，节点拓展请求包括：监测数据的类型与频率；获取多个从节点的状态参数；根据状态参数对多个从节点进行评估，将分值最高的n个从节点推荐给用户；获取用户选择的n个从节点，根据用户选择的n个从节点进行分布式数据库集群的自动扩展。本发明通过在用户的每一次节点扩展请求中，对集群中各从节点性能的状态参数进行实时评价、从而能够为用户提供最优从节点供用户进行参考，辅助用户做出正确的选择；并在用户进行节点选择后，通过在预置在系统中的配置管理控制方法控制分布式数据库集群进行节点的自动扩展，无需进行复杂的人工文件配置。

公开(公告)号：CN112700622A

公开(公告)日：2021-04-23

申请号：CN202011519895.1

申请日：2020-12-21

申请人： 中铁二院工程集团有限责任公司

发明人： 王珣 ,  陆鑫 ,  袁焦 ,  伏坤 ,  金劭南 ,  杨科 ,  刘勇 ,  潘兆马 ,  邹文露 ,  余博 ,  杨俊超 ,  杨学锋 ,  徐鑫 ,  杨森 ,  姚书琴 ,  裴起帆

IPC分类号： G08B21/10 ,  G01D21/02 ,  G06K9/62 ,  H04L29/08

摘要： 本发明公开了一种基于storm的铁路地质灾害监测大数据预处理方法及系统，包括：基于开源流计算storm框架为每个监测点的每个传感器数据提供并行的子计算模块，在每个子计算模块中实现铁路地质灾害监测大数据ETL处理，实现对不同监测点的多种传感器数据的实时并行预处理，有效提高数据处理效率、提高数据清洗质量；有效解决传统方法串行处理执行效率不高、不能满足监测大数据的处理需求的问题，能够满足铁路地质灾害监测数据预处理的实时性、时效性、高精度等要求，适用于复杂铁路地质灾害监测大数据实时分析与预警应用场景；同时，本发明所提供的基于storm的ELT处理方法同样也适用于其它存在多个工程监测点、多种监测数据的复杂工程。