一种电力营销大数据的处理方法及系统
Abstract:
本申请公开了一种电力营销大数据的处理方法及系统,方法包括:将营销基础数据平台数据库中的结构化业务数据和外部数据导入至Hadoop生态系统的Hive数据库中,其中外部数据为从外部网站采集的数据;将非结构化的营销基础数据小文件合并为一个HAR大文件,并存储到分布式文件系统HDFS中;利用编程计算框架MapReduce对Hive数据库和HDFS中的数据进行预处理,并对预处理后的数据进行分析及挖掘。本申请的方法,解决了海量电力营销结构化和非结构化数据的存储和海量数据的计算分析问题,同时充分利用了气象、新闻等外部数据对电力营销大数据进行分析、挖掘,满足了智能化营销管理和辅助决策的需求。
Patent Agency Ranking
0/0