基于Flink与任务调度优化的滑坡灾害多源监测数据集成方法

    公开(公告)号:CN118644966A

    公开(公告)日:2024-09-13

    申请号:CN202410459706.8

    申请日:2024-04-17

    申请人: 郑州大学

    摘要: 本发明属于防灾减灾技术领域,公开了基于Flink与任务调度优化的滑坡灾害多源监测数据集成方法,包括:从监测区域获取原始监测数据并进行预处理,获取监测数据,将不同数据库不同数据结构的监测数据转换为预设格式的目标数据,搭建Flink集群以流计算的形式将目标数据从各个数据库集成至目标数据库,基于改进PSO的任务调度优化算法收集系统信息,统计Flink集群每个节点的资源性能数据,获取每个节点的负载数据,构建LSTM模型,对Flink集群的负载情况进行预测分析,根据负载分析的结果,使用粒子群优化算法对Flink集群进行任务调度优化,并进行优化前后对比分析。本发明实现对灾害多源异构监测数据实时集成。

    一种基于word2vec模型的灾害元数据自动匹配方法及系统

    公开(公告)号:CN118114060A

    公开(公告)日:2024-05-31

    申请号:CN202410142877.8

    申请日:2024-02-01

    申请人: 郑州大学

    摘要: 本发明属于防灾减灾技术领域,公开了一种基于word2vec模型的灾害元数据自动匹配方法及系统,具体包括以下步骤:自然灾害元数据采集及预处理,采用word2vec模型的CBOW架构,在LCQMC语料库上进行模型训练;基于训练结果,确定元数据匹配和元数据不匹配的余弦距离均值,作为置信度阈值;元数据抽取、分词、词向量转换以及计算词向量之间的余弦距离,如果计算出的词向量之间的余弦距离大于置信度阈值,则判定元数据是匹配的,并对匹配结果进行评估,以确保其完整性、一致性和准确性。本发明提出的灾害元数据自动匹配方法使得灾害元数据处理的效率更高,从而增强了对灾害应对的及时性和准确性。