-
公开(公告)号:CN116126887A
公开(公告)日:2023-05-16
申请号:CN202211378165.3
申请日:2022-11-04
Applicant: 国网四川省电力公司信息通信公司
IPC: G06F16/242 , G06F16/215 , G06F16/28
Abstract: 本发明适用于数据传输技术领域,提供了电力数据链路优化传输方法、系统及存储介质,所述方法包括:源端的实时变化的数据经由采集层获取;按照采集层的安全规范或者传输规范,将数据编码成不同的数据流格式,再传递给相应的消息中间件;在分析层中,采用分布式的流计算框架Flink来拉取暂存在所述消息中间件之中的数据,所述流计算框架Flink为增强处理后的Flink SQL,基于所述Flink SQL对所述消息中间件之中的数据进行处理,处理完成后传输到存储层的数据仓库中进行保存。本发明能够对电网海量实时数据传输链路中的中间环节进行优化,实现上下游数据链路贯通,降低链路开发和运维难度,提高数据传输效率。
-
公开(公告)号:CN115934786A
公开(公告)日:2023-04-07
申请号:CN202211377501.2
申请日:2022-11-04
Applicant: 国网四川省电力公司信息通信公司
IPC: G06F16/2458 , G06F16/25 , G06F16/27 , G06F16/906 , G06Q10/20 , G06Q50/06
Abstract: 本发明适用于计算机数据处理领域,提供了基于电力大数据平台元数据自动化运维方法及装置,所述的运维方法包括以下步骤:采集并获取在各个节点与服务的元数据;将各种类型的元数据转化为相同类型,并将转化后的元数据写入数据库;统一在数据库中分析和查询元数据,并对元数据进行规范检查和处理。本发明使用不同的采集手段获取大数据各个节点与服务的数据,使用数据转换技术将各种类型的数据转化为相同类型,并将数据写入数据库,统一在数据库中分析和查询元数据,为各种规范的实施构建了统一的大数据元数据获取途径,解决了电力大数据元数据类型杂,存储方式多,数据分散的问题。
-