一种基于云服务Hadoop的数据挖掘方法

    公开(公告)号:CN116775584A

    公开(公告)日:2023-09-19

    申请号:CN202310847359.1

    申请日:2023-07-12

    发明人: 唐婧 彭春富

    摘要: 本发明提供一种基于云服务Hadoop的数据挖掘方法,包括步骤:S11、获取客户群体数据集合,将客户群体数据集合存储到分布式文件存储系统的存储节点中;S12、用户节点发起挖掘任务请求,挖掘任务请求至少包括挖掘目标数据、挖掘数据属性、挖掘目的、所属业务版块信息;S13、审批节点接收挖掘任务请求,对挖掘任务请求进行审批,根据审批结果决定是否根据挖掘任务请求生成挖掘任务,将挖掘任务添加到挖掘任务队列中;S14、MapReduce计算框架对挖掘任务队列中的挖掘任务依序进行处理,根据挖掘任务对存储于相应存储节点的客户群体数据集合进行挖掘,将数据挖掘结果反馈给发起挖掘任务的用户节点,本发明可协调相同数据源下不同目的的数据挖掘需求,提高大数据利用率。