一种海量数据预处理方法及其系统

    公开(公告)号:CN102799682A

    公开(公告)日:2012-11-28

    申请号:CN201210260651.5

    申请日:2012-07-25

    IPC分类号: G06F17/30

    摘要: 本发明涉及一种海量数据预处理方法及其系统,通过以相关系数作为数据降维和压缩的依据,有效的利用的属性之间的相关性。将海量数据以时间片轮转的方式进行存储和顺序编号,通过随机数生成算法和取模运算后,确定抽样样本的编号。提取样本后进行相关性的分析,将属性间的相关系数作为属性相关性矩阵的值,通过相关系数的计算得到体现属性相关性的权值。权值越大即属性的相关性越强,反之亦然。以相关性分析为基础,将相关性强的属性在降维过程中吸收掉,将相关性弱的属性进行聚类分析,有效的利用属性相关性,在保持原数据内在信息的基础上,实现海量数据的降维和压缩。