一种基于湖仓一体的异构能源数据存储方法
Abstract:
本发明公开了一种基于湖仓一体的异构能源数据存储方法包括,收集异构能源数据,并对所述数据进行预处理;对处理后的数据利用FCM算法进行模糊聚类提取出特征关键字;基于Hive组件将所述HDFS组件中的所述源数据加载到基于Hive组件创建的湖仓表中。本方法通过FCM聚类和ETL工具统一异构能源数据,优化数据加载和查询效率,降低处理耗时。利用湖仓一体架构增强了数据治理和跨领域共享,提升了系统扩展性和灵活性,降低数据处理耗时,提高数据查询及执行的效率并有效降低数据孤岛难统一管理的问题。
Patent Agency Ranking
0/0