公开(公告)号：CN118585517A

公开(公告)日：2024-09-03

申请号：CN202411052405.X

申请日：2024-08-02

申请人： 杭州海兴泽科信息技术有限公司 ,  杭州海兴电力科技股份有限公司 ,  深圳和兴电力科技有限公司 ,  广东和兴电力科技有限公司 ,  海南海兴国际科技发展有限公司 ,  杭州泽兴仪器仪表有限公司 ,  宁波恒力达科技有限公司

发明人： 姚青 ,  肖劲 ,  陶永晶 ,  郭建波 ,  周剑波 ,  陆玲玲 ,  孙新豪

IPC分类号： G06F16/215 ,  H04L67/566

摘要： 本说明书实施例公开了一种基于大数据管理分析的数据入库方法及系统。应用于数据存储系统，数据存储系统中运行有多个Akka框架下的数据处理单元和至少一个基于Kafka消息订阅机制构建的主题，包括：响应于获取到的数据入库请求，将待入库数据上传至相应的主题中；通过数据校验单元对待入库数据进行校验，数据校验单元为预配置有数据校验逻辑的数据处理单元；在校验通过的情况下，将待入库数据重新上传至数据存储系统的主题中；在校验未通过的情况下，通过数据估算单元对所述待入库数据中的缺失数据进行估算，并将估算处理后的数据上传至所述所述数据存储系统的主题中所述数据估算单元为预配置有针对缺失数据的估算逻辑的数据处理单元。