-
公开(公告)号:CN116775584A
公开(公告)日:2023-09-19
申请号:CN202310847359.1
申请日:2023-07-12
申请人: 常德职业技术学院
IPC分类号: G06F16/172 , G06F16/182 , G06F16/2457 , G06F16/2458 , G06F16/27
摘要: 本发明提供一种基于云服务Hadoop的数据挖掘方法,包括步骤:S11、获取客户群体数据集合,将客户群体数据集合存储到分布式文件存储系统的存储节点中;S12、用户节点发起挖掘任务请求,挖掘任务请求至少包括挖掘目标数据、挖掘数据属性、挖掘目的、所属业务版块信息;S13、审批节点接收挖掘任务请求,对挖掘任务请求进行审批,根据审批结果决定是否根据挖掘任务请求生成挖掘任务,将挖掘任务添加到挖掘任务队列中;S14、MapReduce计算框架对挖掘任务队列中的挖掘任务依序进行处理,根据挖掘任务对存储于相应存储节点的客户群体数据集合进行挖掘,将数据挖掘结果反馈给发起挖掘任务的用户节点,本发明可协调相同数据源下不同目的的数据挖掘需求,提高大数据利用率。