一种海量数据的清洗方法和系统

    公开(公告)号:CN106484915B

    公开(公告)日:2019-10-11

    申请号:CN201610959853.7

    申请日:2016-11-03

    Abstract: 本发明公开一种海量数据的清洗方法和系统,涉及数据处理技术领域,以提高数据清洗的速度和效率。所述海量数据的清洗方法包括:根据预设数据块个数N,将映射归约并行计算框架内映射函数的个数设置为N,将归约函数的个数设为1;利用映射归约并行计算框架内N个映射函数将海量数据分成N个数据块,对每个数据块中的数据进行清洗,得到多个清洗的数据块;利用归约函数整合多个清洗的数据块,得到整合数据;对整合数据进行清洗,完成海量数据的清洗。所述海量数据的清洗系统包括上述海量数据的清洗方法。本发明提供的海量数据的清洗方法用于海量数据清洗。

    一种海量数据的清洗方法和系统

    公开(公告)号:CN106484915A

    公开(公告)日:2017-03-08

    申请号:CN201610959853.7

    申请日:2016-11-03

    Abstract: 本发明公开一种海量数据的清洗方法和系统,涉及数据处理技术领域,以提高数据清洗的速度和效率。所述海量数据的清洗方法包括:根据预设数据块个数N,将映射归约并行计算框架内映射函数的个数设置为N,将归约函数的个数设为1;利用映射归约并行计算框架内N个映射函数将海量数据分成N个数据块,对每个数据块中的数据进行清洗,得到多个清洗的数据块;利用归约函数整合多个清洗的数据块,得到整合数据;对整合数据进行清洗,完成海量数据的清洗。所述海量数据的清洗系统包括上述海量数据的清洗方法。本发明提供的海量数据的清洗方法用于海量数据清洗。

    一种基于智能数据挖掘模型的电力多目标决策支持方法

    公开(公告)号:CN103295079A

    公开(公告)日:2013-09-11

    申请号:CN201310231077.5

    申请日:2013-06-09

    Abstract: 本发明涉及一种基于智能数据挖掘模型的电力多目标决策支持方法,决策者根据实际问题的性质明确决策的目标确定目标层;统计达到目标所有需要考虑的影响因素,并将影响因素进行归纳、综合,确定准则层;对每一准则层下的所有指标均采用频度统计指标筛选方法进行海选,并根据可观测性原则将观测数据无法获得的指标删除;采用离差平方和对各个准则层内的指标进行聚类;采用因子分析法分析每个统计指标的因子载荷,保留每一类指标中因子载荷最大的指标筛选出多准则层间的共因指标;基于多元回归分析方法,构建指标层与准则层间的决策模型;根据各准则的决策模型,寻找多准则间的优化平衡点,以实现最终目标层的最优。

    一种电力统计指标关联性分析方法

    公开(公告)号:CN103207944A

    公开(公告)日:2013-07-17

    申请号:CN201310043709.5

    申请日:2013-02-04

    Abstract: 本发明涉及一种电力统计指标关联性分析方法,该方法摆脱了传统统计指标相关性分析的固有思维方式,该方法运用相关性分析理论分析电力统计综合指标的相关性,梳理指标间的相关关系;然后引进计量经济学中的联动分析理论,寻找指标与核心指标间的因果引导关系,确定影响核心指标的关键指标;最后构建电力统计核心指标与关键指标间的相关度模型,并求取其灵敏度系数,量化其相关关系,确定其依赖和影响程度,形成以核心指标为中心的电力统计指标体系勾稽关系图。相对于传统方法,本发明能够更加直观、全面的了解统计指标间相关关系,给决策者提供直观、清晰、有效的支撑。

    一种电力统计指标数据的质量评估方法

    公开(公告)号:CN103247008B

    公开(公告)日:2015-10-28

    申请号:CN201310163339.9

    申请日:2013-05-07

    Abstract: 本发明涉及一种电力统计指标数据的质量评估方法,包括以下步骤:根据实际评估目的的需要,获取待评估的电力统计指标数据;选择相应的数据质量评估指标;制定与各质量评估指标对应的数据质量评估规则;计算质量评估指标Ii的权重Wi并设定期望值Ei;对统计指标数据进行各质量评估指标的检测分析,并计算出满足质量评估指标Ii的数据百分比Si;根据权重Wi、合格百分比Si和设定的期望值Ei,分别计算出统计指标数据的综合评估值SA、总体期望值SE和相对差值SR,并根据设定的评价等级对统计指标数据总体质量进行评估;对评估出的不合格的统计指标数据进行处理。本发明可以应用在电力行业的电力统计指标数据的质量评估中。

    一种电力统计指标数据的质量评估方法

    公开(公告)号:CN103247008A

    公开(公告)日:2013-08-14

    申请号:CN201310163339.9

    申请日:2013-05-07

    Abstract: 本发明涉及一种电力统计指标数据的质量评估方法,包括以下步骤:根据实际评估目的的需要,获取待评估的电力统计指标数据;选择相应的数据质量评估指标;制定与各质量评估指标对应的数据质量评估规则;计算质量评估指标Ii的权重Wi并设定期望值Ei;对统计指标数据进行各质量评估指标的检测分析,并计算出满足质量评估指标Ii的数据百分比Si;根据权重Wi、合格百分比Si和设定的期望值Ei,分别计算出统计指标数据的综合评估值SA、总体期望值SE和相对差值SR,并根据设定的评价等级对统计指标数据总体质量进行评估;对评估出的不合格的统计指标数据进行处理。本发明可以应用在电力行业的电力统计指标数据的质量评估中。

Patent Agency Ranking