-
公开(公告)号:CN103092699A
公开(公告)日:2013-05-08
申请号:CN201310008601.2
申请日:2013-01-10
申请人: 中国南方电网有限责任公司超高压输电公司 , 清华大学
摘要: 本发明提出了云计算环境中资源预分配的方法,详细地分析了模型的设计和实现,通过预测可能的用户请求,帮助IT管理员提前部署各种类型的虚拟机来满足突发的请求;同时针对具体的资源类型,预测可能的物理资源需求,以便提前购买相应的资源。数据采集;数据清洗,过滤掉请求次数少于预定次数的用户的请求;模型训练,基于时间与虚拟机类型的矩阵建立组合预测模型,然后根据时间窗口持续地导入清洗后的数据进行模型训练,直到填满时间窗口,完成模型收敛;数据预测,基于训练好的组合预测模型,对给定时间的资源请求做预测;结果处理,在给定预测时间的前提下,预测结果包括每种虚拟机类型的总需求量、下一周虚拟机的需求量、具体物理资源的需求量。
-
公开(公告)号:CN103279505A
公开(公告)日:2013-09-04
申请号:CN201310173198.9
申请日:2013-05-10
申请人: 中国南方电网有限责任公司超高压输电公司 , 清华大学
IPC分类号: G06F17/30
摘要: 本发明公开一种基于语义的海量数据处理方法,其包括以下步骤:A、将所述云应用中的所有的海量数据进行语义处理,形成智能分布式的语义索引机制;B、对云应用中所有的元数据和数据按照所述语义索引机制进行语义存储到相应的云存储系统中;C、对存储于云存储系统中的云应用执行海量数据的MapReduce计算。本发明通过基于语义的海量数据存储方式,将会使得那些具有语义关联比较高的数据存储的比较紧密,当各种云应用需要执行对海量数据的MapReduce计算时,会在同一台机器上对同一个作业执行较多的Map或者Reduce任务,从而减少数据迁移的时间消耗,将会较好地提高海量数据的处理效率。
-
公开(公告)号:CN103049317B
公开(公告)日:2016-03-23
申请号:CN201310008606.5
申请日:2013-01-10
申请人: 中国南方电网有限责任公司超高压输电公司 , 清华大学
摘要: 本发明公开了一种云环境下基于队列的高并发数据快速写入系统及方法,具体包括以下步骤:建立同步管理,使两台服务器具有相同的队列、配置,并且具有数据后备修复机制;配置管理,生成队列的基本属性,通过配置管理模块动态的增加或删除队列;队列管理,根据配置动态的完成对队列创建及生命周期的管理;写入操作,将各队列中的数据按优先级依次写入存储设备。采用本发明可以避免对磁盘和数据库的写竞争,避免死锁,由于本方法同时注意了灾备的考虑,不失为一种高效高并发数据写入的方法。
-
公开(公告)号:CN103279505B
公开(公告)日:2016-12-07
申请号:CN201310173198.9
申请日:2013-05-10
申请人: 中国南方电网有限责任公司超高压输电公司 , 清华大学
IPC分类号: G06F17/30
摘要: 本发明公开一种基于语义的海量数据处理方法,其包括以下步骤:A、将所述云应用中的所有的海量数据进行语义处理,形成智能分布式的语义索引机制;B、对云应用中所有的元数据和数据按照所述语义索引机制进行语义存储到相应的云存储系统中;C、对存储于云存储系统中的云应用执行海量数据的MapReduce计算。本发明通过基于语义的海量数据存储方式,将会使得那些具有语义关联比较高的数据存储的比较紧密,当各种云应用需要执行对海量数据的MapReduce计算时,会在同一台机器上对同一个作业执行较多的Map或者Reduce任务,从而减少数据迁移的时间消耗,将会较好地提高海量数据的处理效率。
-
公开(公告)号:CN103049317A
公开(公告)日:2013-04-17
申请号:CN201310008606.5
申请日:2013-01-10
申请人: 中国南方电网有限责任公司超高压输电公司 , 清华大学
摘要: 本发明公开了一种云环境下基于队列的高并发数据快速写入系统及方法,具体包括以下步骤:建立同步管理,使两台服务器具有相同的队列、配置,并且具有数据后备修复机制;配置管理,生成队列的基本属性,通过配置管理模块动态的增加或删除队列;队列管理,根据配置动态的完成对队列创建及生命周期的管理;写入操作,将各队列中的数据按优先级依次写入存储设备。采用本发明可可以避免对磁盘和数据库的写竞争,避免死锁,由于本方法同时注意了灾备的考虑,不失一种高效高并发数据写入的方法。
-
-
-
-