-
公开(公告)号:CN104331518B
公开(公告)日:2017-12-29
申请号:CN201410709125.1
申请日:2014-11-27
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明实施例提供的一种海量文件的存储方法和装置,可以解决在.NET平台架构下利用HDFS存储数据时系统运行效率低以及部署成本高的问题。具体方案为:在.NET平台架构下通过IKVM.NET调用HDFS存储待存储文件中的数据;当所述待存储文件中的数据存储成功后,使用根据关系数据库创建的文件索引表存储所述待存储文件的索引信息。
-
公开(公告)号:CN104102701B
公开(公告)日:2017-10-13
申请号:CN201410321111.2
申请日:2014-07-07
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明提出一种基于hive的历史数据存档与查询方法,首先建立hive表,然后使用ETL工具导出源数据并验证,通过验证后将源数据导入hive表,以及基于Thrift接口从hive表中查询历史数据。本发明提出的所述方法能够向其它软件提供接口,并完成定制化历史数据导入和数据查询的功能。
-
公开(公告)号:CN105302494A
公开(公告)日:2016-02-03
申请号:CN201510802655.5
申请日:2015-11-19
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F3/06
Abstract: 本发明实施例公开了一种压缩策略选择方法及装置,包括:接收数据压缩信息;其中,所述数据压缩信息中携带待压缩数据的数据量信息;根据所述待压缩数据的数据量信息,确定所述待压缩数据的处理场景信息;根据所述待压缩数据的数据量信息和所述待压缩数据的处理场景信息,确定所述待压缩数据的压缩策略,可见,在本实施例中根据用户待压缩数据的数据量信息及用户的实际处理场景,能帮用户选择适合的压缩策略,从而使每个用户都根据自己的实际情况,选择最合适的、性价比最高的压缩策略。
-
公开(公告)号:CN105279027A
公开(公告)日:2016-01-27
申请号:CN201510809442.5
申请日:2015-11-19
Applicant: 浪潮(北京)电子信息产业有限公司
Abstract: 本发明实施例公开了一种虚拟机部署方法及装置,包括:接收虚拟机的部署请求信息,部署请求信息携带虚拟机申请的第一资源;根据虚拟机的第一资源,确定物理机集群中的每个物理机与虚拟机的线性相关系数、相似度及第一欧氏距离;根据虚拟机与每个物理机的线性相关系数,确定虚拟机与每个物理机的第一权重;根据虚拟机与每个物理机的第一欧氏距离,确定虚拟机与每个物理机的第二权重;根据目标物理机选择规则,及相似度、第一欧氏距离、第一权重及第二权重,确定与虚拟机部署的目标物理机。可见,本申请在选择目标物理机时,虚拟机发送的部署请求信息中携带了N种资源,克服了现有技术中由于单属性部署或者随机部署所产生的负载不均匀的问题。
-
公开(公告)号:CN104331518A
公开(公告)日:2015-02-04
申请号:CN201410709125.1
申请日:2014-11-27
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30094 , G06F17/30194
Abstract: 本发明实施例提供的一种海量文件的存储方法和装置,可以解决在.NET平台架构下利用HDFS存储数据时系统运行效率低以及部署成本高的问题。具体方案为:在.NET平台架构下通过IKVM.NET调用HDFS存储待存储文件中的数据;当所述待存储文件中的数据存储成功后,使用根据关系数据库创建的文件索引表存储所述待存储文件的索引信息。
-
公开(公告)号:CN104182502A
公开(公告)日:2014-12-03
申请号:CN201410406481.6
申请日:2014-08-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30563 , G06F17/30595
Abstract: 本发明提供一种数据抽取方法,应用于关系型数据库,所述方法包括:根据选取的数据表中某字段的值域分布,将所述数据表分成M个数据分区,所述字段的类型为数值型或者所述字段的值能够转换成数值;根据所述各数据分区的数据行数计算所述各数据分区的权重;根据所述各数据分区的权重为所述各数据分区分配线程数;所述各数据分区分配的各线程数的总和等于预设的总线程数N,其中M≤N;开启N个线程,按照所分配的线程数,分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区,动态分配各数据分区的线程数,解决了各线程分配数据不均匀的问题,提高了关系型数据的数据抽取效率。
-
公开(公告)号:CN104102710A
公开(公告)日:2014-10-15
申请号:CN201410336964.3
申请日:2014-07-15
Applicant: 浪潮(北京)电子信息产业有限公司
CPC classification number: G06F17/30575 , G06F17/30545 , G06F17/30554
Abstract: 本发明公开了一种海量数据查询方法,其特征在于,包括:建立HBase非行键值rowkey查询字段与rowkey的索引映射;查询时,根据所述索引映射关系,在SolrCloud中查询到查询字段对应的rowkey;使用所述rowkey在HBase中进行查找,并将查询结果分页显示。
-
公开(公告)号:CN104102702A
公开(公告)日:2014-10-15
申请号:CN201410321901.0
申请日:2014-07-07
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30289
Abstract: 本发明公开了一种实现软硬件结合的面向应用的大数据系统及方法,包括:硬件层、基础平台层、平台增强层;其中,硬件层,用于根据应用场景以及系统需求对硬件进行定制,并对基础平台层提供硬件支撑;基础平台层,用于根据大数据平台搭配能力以及应用场景的策略,选择一个或者几个大数据平台;平台增强层,用于根据基础平台层选择的大数据平台提供相应的大数据平台工具;其中,应用场景为用户应用需求或用户应用场景。本申请的技术方案屏蔽了平台多样性对用户带来的选择和搭配的难度,并且充分利用了软硬件结合的优势以及结合大数据平台工具提高易用性,极大地提高了行业大数据应用的开发质量和效率。
-
公开(公告)号:CN104021194A
公开(公告)日:2014-09-03
申请号:CN201410265820.3
申请日:2014-06-13
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30943 , G06F3/067
Abstract: 本发明公开了一种面向行业大数据多样性应用的混合型处理系统及方法,该系统包括:分布式数据采集子系统,用于从外部系统采集数据;存储和并行计算子系统,用于对所采集的数据进行存储和计算;一体化资源和系统管理平台,用于对所存储和计算的数据进行管理;其中,存储和并行计算子系统,包括大数据存储子系统和大数据处理子系统;其中,大数据处理子系统,包括内存计算引擎,其中,内存计算引擎,用于在无共享集群中提供分布式内存抽象,并对采集的数据进行并行流水化和线程轻量级处理。本发明能够满足行业大数据多样性业务应用需求,通过内存计算引擎加速能够将大数据处理性能提高10倍以上,通过一体化管理平台能够保障系统的易用性、可靠性及可扩展性。
-
公开(公告)号:CN103685572A
公开(公告)日:2014-03-26
申请号:CN201310753326.7
申请日:2013-12-31
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: H04L29/08
Abstract: 本发明提供一种基于SOA构建云数据中心管理平台方法及系统,应用于计算机应用技术领域:上述方法包括以下步骤:将一个或多个功能模块封装成对应的服务,存储至可扩展业务模块中;平台管理或者服务调用者通过服务总线访问可扩展业务模块中的所述服务。本发明基于面向服务的体系架构SOA的理念构建IaaS(Infrastructure as a Service,基础架构即服务)层的云管理平台,实现了灵活的云管理平台架构和系统,从而实现了云管理平台架构的高内聚和低耦合,应对不同时期的负载,或者进行故障恢复,实现了在云计算环境下的灵活可扩展性,满足企业私有云、公有云的构建。
-
-
-
-
-
-
-
-
-