基于HBase的高效存储方法及系统

    公开(公告)号:CN104008134B

    公开(公告)日:2017-02-15

    申请号:CN201410188339.9

    申请日:2014-05-06

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于HBase的高效存储方法及系统,涉及大数据领域,该方法包括以下步骤:输入一行待存储到目标表的用户数据;判断内存中是否有目标表的字节组合编码的初始化信息,如果没有,则访问元数据库,对目标表的字节组合编码进行初始化,将初始化信息写入内存;如果有,解析出主键列值,进行字节编码并组合,形成1个字节序列,作为键值对存储格式的行键值;根据初始化信息解析出非主键列值,进行字节编码并组合,形成1个字节序列,作为键值对存储格式的值字段内容;将行键值字节序列和值字段字节序列组装成键值对,完成HBase写入。本发明能节省HBase的存储空间,提高HBase的吞吐性能。

    基于HBase的高效存储方法及系统

    公开(公告)号:CN104008134A

    公开(公告)日:2014-08-27

    申请号:CN201410188339.9

    申请日:2014-05-06

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30315

    摘要: 本发明公开了一种基于HBase的高效存储方法及系统,涉及大数据领域,该方法包括以下步骤:输入一行待存储到目标表的用户数据;判断内存中是否有目标表的字节组合编码的初始化信息,如果没有,则访问元数据库,对目标表的字节组合编码进行初始化,将初始化信息写入内存;如果有,解析出主键列值,进行字节编码并组合,形成1个字节序列,作为键值对存储格式的行键值;根据初始化信息解析出非主键列值,进行字节编码并组合,形成1个字节序列,作为键值对存储格式的值字段内容;将行键值字节序列和值字段字节序列组装成键值对,完成HBase写入。本发明能节省HBase的存储空间,提高HBase的吞吐性能。

    一种基于列存储的大数据并行处理系统及方法

    公开(公告)号:CN103646051A

    公开(公告)日:2014-03-19

    申请号:CN201310616040.4

    申请日:2013-11-27

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30315 G06F17/30595

    摘要: 一种基于列存储的大数据并行处理系统及方法,涉及大数据处理领域,包括客户端、主控节点和多个数据节点,所述主控节点包括HBase主控制器和SQL主引擎,HBase主控制器负责管理和维护所述数据节点,SQL主引擎负责SQL语句的解析并将SQL语句继续向数据节点进行分发;每个所述数据节点包括HBase分区节点和SQL从引擎,HBase分区节点负责每个数据节点上数据的存储和管理,SQL从引擎负责SQL在该数据节点的解析和执行,主控节点和数据节点均包括HBase表,还分别包括SQL表。本发明适合大规模数据量的环境,提供更完善的结构化关系数据模型的SQL接口。

    基于simics系统模拟器的云计算仿真系统及方法

    公开(公告)号:CN103023967B

    公开(公告)日:2015-05-27

    申请号:CN201210458664.3

    申请日:2012-11-15

    IPC分类号: H04L29/08

    摘要: 本发明公开了一种基于simics系统模拟器的云计算仿真系统及方法,涉及云计算仿真领域,该仿真系统包括多个数据中心仿真单元、一个网络仿真单元和多个终端群仿真单元,数据中心仿真单元模拟云计算数据中心的各种节点,网络仿真单元仿真IP网络的传输性能,包括IP网络仿真模块和/或基于ns2的DelayBox模块,终端群仿真单元模拟海量终端对云计算平台的访问,终端群仿真单元包括压力测试工具Apache Jmeter和/或基于ns2的终端群仿真模块。本发明在simics系统模拟器的基础上,以较低的成本构造整个云计算的网络场景,实现云计算的仿真测试研究,缩短系统建设周期,提高系统建设中决策的科学性,可以应用于多种云计算平台。

    一种基于虚拟网关的无线传感网网关冗余方法

    公开(公告)号:CN102624929B

    公开(公告)日:2015-04-08

    申请号:CN201210118274.1

    申请日:2012-04-20

    IPC分类号: H04L29/08 H04L12/44 H04W88/16

    摘要: 本发明涉及一种基于虚拟网关的无线传感网网关冗余方法,本方法用于无线传感网的树状拓扑中,本方法将两个网关节点(两台网关设备)虚拟成一个虚拟网关设备,传感器节点把该虚拟网关作为无线传感网的根节点,传感器节点并不知道有两个互为主备的网关节点存在,两个网关节点一个是主节点(Master),一个是备份节点(backup)。主节点(Master)负责传感数据的转发和路由表的更新,而备份节点(backup)负责监听主节点(Master)的状态。当主节点(Master)工作失效时,备份节点(backup)主动接管主节点的工作,传感器节点不需要再重新加入另一个传感网络,该倒换过程对传感器节点来说是透明的。

    一种基于列存储的大数据并行处理系统及方法

    公开(公告)号:CN103646051B

    公开(公告)日:2017-02-08

    申请号:CN201310616040.4

    申请日:2013-11-27

    IPC分类号: G06F17/30

    摘要: 一种基于列存储的大数据并行处理系统及方法,涉及大数据处理领域,包括客户端、主控节点和多个数据节点,所述主控节点包括HBase主控制器和SQL主引擎,HBase主控制器负责管理和维护所述数据节点,SQL主引擎负责SQL语句的解析并将SQL语句继续向数据节点进行分发;每个所述数据节点包括HBase分区节点和SQL从引擎,HBase分区节点负责每个数据节点上数据的存储和管理,SQL从引擎负责SQL在该数据节点的解析和执行,主控节点和数据节点均包括HBase表,还分别包括SQL表。本发明适合大规模数据量的环境,提供更完善的结构化关系数据模型的SQL接口。

    基于simics系统模拟器的云计算仿真系统及方法

    公开(公告)号:CN103023967A

    公开(公告)日:2013-04-03

    申请号:CN201210458664.3

    申请日:2012-11-15

    IPC分类号: H04L29/08

    摘要: 本发明公开了一种基于simics系统模拟器的云计算仿真系统及方法,涉及云计算仿真领域,该仿真系统包括多个数据中心仿真单元、一个网络仿真单元和多个终端群仿真单元,数据中心仿真单元模拟云计算数据中心的各种节点,网络仿真单元仿真IP网络的传输性能,包括IP网络仿真模块和/或基于ns2的DelayBox模块,终端群仿真单元模拟海量终端对云计算平台的访问,终端群仿真单元包括压力测试工具Apache Jmeter和/或基于ns2的终端群仿真模块。本发明在simics系统模拟器的基础上,以较低的成本构造整个云计算的网络场景,实现云计算的仿真测试研究,缩短系统建设周期,提高系统建设中决策的科学性,可以应用于多种云计算平台。

    一种基于虚拟网关的无线传感网网关冗余方法

    公开(公告)号:CN102624929A

    公开(公告)日:2012-08-01

    申请号:CN201210118274.1

    申请日:2012-04-20

    IPC分类号: H04L29/08 H04L12/44 H04W88/16

    摘要: 本发明涉及一种基于虚拟网关的无线传感网网关冗余方法,本方法用于无线传感网的树状拓扑中,本方法将两个网关节点(两台网关设备)虚拟成一个虚拟网关设备,传感器节点把该虚拟网关作为无线传感网的根节点,传感器节点并不知道有两个互为主备的网关节点存在,两个网关节点一个是主节点(Master),一个是备份节点(backup)。主节点(Master)负责传感数据的转发和路由表的更新,而备份节点(backup)负责监听主节点(Master)的状态。当主节点(Master)工作失效时,备份节点(backup)主动接管主节点的工作,传感器节点不需要再重新加入另一个传感网络,该倒换过程对传感器节点来说是透明的。