一种基于语义的海量数据处理方法

    公开(公告)号:CN103279505B

    公开(公告)日:2016-12-07

    申请号:CN201310173198.9

    申请日:2013-05-10

    Abstract: 本发明公开一种基于语义的海量数据处理方法,其包括以下步骤:A、将所述云应用中的所有的海量数据进行语义处理,形成智能分布式的语义索引机制;B、对云应用中所有的元数据和数据按照所述语义索引机制进行语义存储到相应的云存储系统中;C、对存储于云存储系统中的云应用执行海量数据的MapReduce计算。本发明通过基于语义的海量数据存储方式,将会使得那些具有语义关联比较高的数据存储的比较紧密,当各种云应用需要执行对海量数据的MapReduce计算时,会在同一台机器上对同一个作业执行较多的Map或者Reduce任务,从而减少数据迁移的时间消耗,将会较好地提高海量数据的处理效率。

    一种基于语义的海量数据处理方法

    公开(公告)号:CN103279505A

    公开(公告)日:2013-09-04

    申请号:CN201310173198.9

    申请日:2013-05-10

    Abstract: 本发明公开一种基于语义的海量数据处理方法,其包括以下步骤:A、将所述云应用中的所有的海量数据进行语义处理,形成智能分布式的语义索引机制;B、对云应用中所有的元数据和数据按照所述语义索引机制进行语义存储到相应的云存储系统中;C、对存储于云存储系统中的云应用执行海量数据的MapReduce计算。本发明通过基于语义的海量数据存储方式,将会使得那些具有语义关联比较高的数据存储的比较紧密,当各种云应用需要执行对海量数据的MapReduce计算时,会在同一台机器上对同一个作业执行较多的Map或者Reduce任务,从而减少数据迁移的时间消耗,将会较好地提高海量数据的处理效率。

Patent Agency Ranking