一种基于应用性能损失分析的数据中心功率配给方法

    公开(公告)号:CN104598362B

    公开(公告)日:2017-05-17

    申请号:CN201410848216.3

    申请日:2014-12-29

    Inventor: 吴松 颜楚雄 金海

    Abstract: 本发明公开了一种基于应用性能损失分析的数据中心功率配给方法,数据中心管理员通过厂商或实验室实测获得服务器机型的CPU使用率和功率对应关系的配置信息,服务器中的监控模块提取CPU使用率数据并上报给中心数据库,数据分析模块抽取中心数据库中的CPU使用率数据,并比照服务器配置信息,分析计算服务器在任意功率配给下的应用性能损失值,计算完成后,数据分析模块生成功率配给调整指导单,用以指导数据中心管理员制定服务器的功率配给和最终服务器最终装机上架策略,本发明保证在可接受的应用性能损失范围内制定功率配给,并通过指导功率配给,帮助数据中心提高机架中服务器的装机量,从而有效降低数据中心的租用成本。

    一种面向异构内存的可重构内存管理系统

    公开(公告)号:CN106598483A

    公开(公告)日:2017-04-26

    申请号:CN201610990999.8

    申请日:2016-11-10

    Inventor: 吴松 周放 金海

    Abstract: 本发明公开了一种面向异构内存的可重构内存管理系统,包括:页面管理模块、管理策略模块、决策管理模块以及策略转换模块:所述页面管理模块,用于负责页面分配和页面迁移操作;所述管理策略模块,用于保存预设的内存管理策略集,并根据操作系统当前运行的内存管理策略,对页面分配和页面迁移操作进行处理;所述决策管理模块,用于接收策略转换请求,经过处理后形成策略转换决策;所述策略转换模块,用于响应所述策略转换决策,将当前运行的内存管理策略向与所述策略转换决策对应的目标内存管理策略进行转换。将原来由内存控制器负责的相关功能转交给操作系统,从而使得异构内存系统的架构和管理策略更加灵活,可以根据应用特征进行动态调整。

    一种基于多线程的MapReduce执行系统

    公开(公告)号:CN103605576B

    公开(公告)日:2017-02-08

    申请号:CN201310602222.6

    申请日:2013-11-25

    Abstract: 本发明公开了一种基于多线程的MapReduce执行系统,包括:实现一个多线程的MapReduce执行引擎:将原有Hadoop中Map/Reduce任务的多进程执行模式改为多线程方式;提取Map任务和Reduce任务中对内存使用的细节特征,根据这些特征将MapReduce流程细粒度地分为多个阶段,并将原有Hadoop中shuffle过程由Reduce的拉取改为Map的主动推送;在MapReduce多线程执行引擎内部实现统一的内存管理模块和I/O管理模块,统一管理各个任务线程对内存的使用;设计全局的内存调度和IO调度算法,在作业执行过程中动态调度系统资源。本发明能够在用户完全无需修改原有MapReduce程序的基础上,最大化内存使用,充分利用磁盘带宽,解决原有Hadoop中一直存在的I/O瓶颈问题。

    一种面向服务器整合的高效物理机到虚拟机转换方法

    公开(公告)号:CN104866372A

    公开(公告)日:2015-08-26

    申请号:CN201510240728.6

    申请日:2015-05-13

    Inventor: 吴松 金海 李永昌

    Abstract: 本发明公开了一种面向服务器整合的高效物理机到虚拟机(P2V)转换方法,该方法能够最小化P2V转换过程中的失效时间,包括:(1)设计了本地P2V转换方法,通过配置对应的虚拟钥匙将物理服务器转换为一台本地虚拟服务器。该本地虚拟服务器共享源物理服务器的底层硬件资源,并且避免了传统P2V转换方法中耗时的磁盘拷贝和同步过程。(2)磁盘同步模块,在远程虚拟化平台上初始化一个虚拟机镜像,该镜像和本地虚拟服务器的镜像保持同步。在本地虚拟机运行的过程中进行磁盘复制,并且在磁盘复制的过程中完成隐式的磁盘同步,这个过程不会带来服务失效时间。(3)虚拟机的迁移模块,通过虚拟机的在线迁移,可以最小化对本地虚拟机的影响。

    一种面向NUMA架构的虚拟CPU调度优化方法

    公开(公告)号:CN104850461A

    公开(公告)日:2015-08-19

    申请号:CN201510239097.6

    申请日:2015-05-12

    Abstract: 本发明公开了一种面向NUMA架构的VCPU调度优化方法,具体地:采集每个VCPU的访存信息,分析计算各VCPU的访存特征;根据每个VCPU的内存块位置和类型,在将访存密集型VCPU平均分配到不同NUMA节点的基础上,保证最大限度的本地内存访问;当存在空闲的CPU时,根据CPU负载大小以及CPU所属节点信息,为该空闲的CPU选取一个合适的VCPU来运行。本发明针对访存密集型应用程序在基于NUMA架构的虚拟化环境下的性能问题,根据VCPU的访存特征来优化VCPU的分配和迁移机制,在维持虚拟化层透明性的前提下,可有效地减少远端内存访问和缓解共享资源竞争,从而提高访存密集型应用程序的性能。

    一种基于性能预估的Hadoop参数自动优化方法和系统

    公开(公告)号:CN103064664B

    公开(公告)日:2015-07-22

    申请号:CN201210494961.3

    申请日:2012-11-28

    Abstract: 本发明公开了一种基于性能预估的Hadoop参数自动优化方法,包括:统计分析用户在Hadoop集群上运行的应用程序的运行特征,以生成输出文件,获取输出文件,并提取输出文件中各个阶段的运行时间、处理和传输的数据、为运行该Hadoop应用程序分配的资源、以及该Hadoop应用程序对应的参数配置方案,根据输出文件中各个阶段的运行时间、处理和传输的数据、为运行该Hadoop应用程序分配的资源、以及该Hadoop应用程序对应的参数配置方案,并采用MapReduce模拟技术来计算Hadoop应用程序的总运行时间t,根据预估的Hadoop应用程序在当前参数配置方案下的性能并采用遗传算法来调节Hadoop应用程序对应的参数配置方案。本发明能够解决现有方法中存在的高成本、低效率、高门槛、以及增加Hadoop代码复杂性的问题。

    一种基于性能预估的客户端缓存分配方法和系统

    公开(公告)号:CN103685544A

    公开(公告)日:2014-03-26

    申请号:CN201310720078.6

    申请日:2013-12-24

    Abstract: 本发明公开了一种基于性能预估的客户端缓存分配方法,包括以下过程:首先是统计并行文件系统中不同数据节点的负载,于此同时收集并行文件系统中网络速度,磁盘读写速度等信息,统计和收集到的信息将用以对不同系统客户端缓存分配策略进行性能预估,根据性能预估结果,系统将会选择能够带来最大性能的客户端缓存分配策略,根据选择的客户端缓存分配策略,不同的写请求被赋予不同的优先级,客户端缓存将被分配给优先级较高的写请求,而优先级较低的写请求将会直接被写入磁盘中。本发明能够解决现有并行文件系统客户端分配策略存在的高优先级和低效率的问题,最大化了有限的客户端缓存能够带来的性能提升。

    去中心化架构中使用多类型副本的分布式事务处理系统

    公开(公告)号:CN103164219A

    公开(公告)日:2013-06-19

    申请号:CN201310005857.8

    申请日:2013-01-08

    Abstract: 本发明公开了一种去中心化架构中使用多类型副本的分布式事务处理系统,包括事务接口模块、事务处理模块和事务存储模块,事务接口模块包括对外接口子模块和事务预处理子模块,事务处理模块包括多类型副本子模块、读事务处理模块、副本组事务状态子模块、读请求分发子模块、副本修复子模块、MVCC读取子模块、局部写事务处理子模块、局部写事务Paxos副本一致性子模块、局部写事务提交子模块、全局写事务处理子模块、主要子事务Paxos副本一致性子模块、次级子事务Paxos副本一致性子模块和全局写事务提交子模块,本发明能够解决现有系统中存在的针对的读写环境很局限,无法根据应用的需求自行配置读写可用性,以及全局事务依赖于加锁,代价较高的问题。

    一种基于Cassandra的数据并行处理系统

    公开(公告)号:CN103106249A

    公开(公告)日:2013-05-15

    申请号:CN201310006128.4

    申请日:2013-01-08

    Abstract: 本发明公开了一种基于Cassandra的数据并行处理系统,包括Hadoop主节点、多个Hadoop子节点以及位于Hadoop子节点上的Cassandra存储端,主节点包括用户接口模块、Cassandra查询模块、作业调度模块、作业队列模块、作业追踪器,子节点包括任务追踪器、输入模块、输出模块以及Mapreduce模块,用户接口模块用于接收用户请求,并判断用户请求的类型是数据查询请求、提交数据处理作业请求还是作业信息查询请求;如果是数据查询请求,则将其发送到Cassandra查询模块,如果是提交数据处理作业请求或作业信息查询请求,则将其发送到作业调度模块。本发明具有可靠性高、扩展性好、吞吐率高的优势以及针对数据简单查询快速响应的能力,同时又具备对海量数据的复杂处理能力。

    一种基于性能预估的Hadoop参数自动优化方法和系统

    公开(公告)号:CN103064664A

    公开(公告)日:2013-04-24

    申请号:CN201210494961.3

    申请日:2012-11-28

    Abstract: 本发明公开了一种基于性能预估的Hadoop参数自动优化方法,包括:统计分析用户在Hadoop集群上运行的应用程序的运行特征,以生成输出文件,获取输出文件,并提取输出文件中各个阶段的运行时间、处理和传输的数据、为运行该Hadoop应用程序分配的资源、以及该Hadoop应用程序对应的参数配置方案,根据输出文件中各个阶段的运行时间、处理和传输的数据、为运行该Hadoop应用程序分配的资源、以及该Hadoop应用程序对应的参数配置方案,并采用MapReduce模拟技术来计算Hadoop应用程序的总运行时间t,根据预估的Hadoop应用程序在当前参数配置方案下的性能并采用遗传算法来调节Hadoop应用程序对应的参数配置方案。本发明能够解决现有方法中存在的高成本、低效率、高门槛、以及增加Hadoop代码复杂性的问题。

Patent Agency Ranking