一种基于流式框架的数据实时传输构建方法

    公开(公告)号:CN116975043A

    公开(公告)日:2023-10-31

    申请号:CN202311221320.5

    申请日:2023-09-21

    摘要: 本发明公开了一种基于流式框架的数据实时传输构建方法,涉及数据传输技术领域,用于解决不同业务各自的管理者自行搭建自身业务范围内的小数仓,从而产生数据孤岛、重复计算、口径不一致的问题,本发明所述构建方法包括以下步骤:将需要进行传输的业务系统数据进行抽取和汇总,根据业务系统数据量进行数据库选型和数据接入方法验证,以完成源数据接入,对系统数据库抽取的数据,结合划分规则进行分类,对同类数据进行关联和提炼,将搭建完成的不同场景进行可视化共享展示实现跨系统数据共享,有效提升数据质量,辅助决策分析,提供统一的数据服务,这些数据可以为企业分析、决策支持等应用提供更及时、准确、有效的支持。

    一种基于流式框架的数据实时传输构建方法

    公开(公告)号:CN116975043B

    公开(公告)日:2023-12-08

    申请号:CN202311221320.5

    申请日:2023-09-21

    摘要: 本发明公开了一种基于流式框架的数据实时传输构建方法,涉及数据传输技术领域,用于解决不同业务各自的管理者自行搭建自身业务范围内的小数仓,从而产生数据孤岛、重复计算、口径不一致的问题,本发明所述构建方法包括以下步骤:将需要进行传输的业务系统数据进行抽取和汇总,根据业务系统数据量进行数据库选型和数据接入方法验证,以完成源数据接入,对系统数据库抽取的数据,结合划分规则进行分类,对同类数据进行关联和提炼,将搭建完成的不同场景进行可视化共享展示实现跨系统数据共享,有效提升数据质量,辅助决策分析,提供统一的数据服务,这些数据可以为企业分析、决策支持等应用提供更及时、准确、有效的支持。

    结合关联规则挖掘和KMeans聚类算法的用电异常群体识别方法

    公开(公告)号:CN118916771A

    公开(公告)日:2024-11-08

    申请号:CN202410971499.4

    申请日:2024-07-19

    摘要: 本发明涉及一种结合关联规则挖掘和KMeans聚类算法的用电异常群体识别方法,包括以下步骤:步骤1.从智能电表、传感器设备或电力公司的数据库中获取用户的用电数据;步骤2:对数据预处理:清洗、去噪和归一化处理采集到的数据;步骤3:基于关联规则挖掘算法,发现不同用电特征之间的关联关系;步骤4:从关联规则挖掘的结果中提取特征,作为用电情况的特征向量;步骤5:将提取到的特征向量应用于KMeans聚类算法,将用户分成不同的群体;步骤6:对每个群体中的用户进行异常检测,使用KMeans算法中的离群点检测方法来识别异常群体。步骤7:将识别出的异常群体进行可视化展示。本发明可以有效地识别出基于用电情况分析的异常群体。