公开(公告)号：CN105302638B

公开(公告)日：2018-11-20

申请号：CN201510740736.7

申请日：2015-11-04

Applicant: 国家计算机网络与信息安全管理中心 ,  天津神舟通用数据技术有限公司

Inventor： 王洋 ,  李晓鹏 ,  陈训逊 ,  黄亮 ,  吴震 ,  蒋旭 ,  谭炜波 ,  王洋洋 ,  赵雪静

IPC: G06F9/48

Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法，其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息，MPP集群主控节点依据任务的分布信息以及对应节点的负载情况，完成对任务的排队和调度，通过对系统负载的实时监控，实现动态并发控制，可以有效提高资源的利用率，使系统达到最佳吞吐性能。

公开(公告)号：CN105426427A

公开(公告)日：2016-03-23

申请号：CN201510740873.0

申请日：2015-11-04

Applicant: 国家计算机网络与信息安全管理中心 ,  天津神舟通用数据技术有限公司

Inventor： 王洋 ,  李晓鹏 ,  陈训逊 ,  赵殿奎 ,  吴震 ,  蒋旭 ,  谭炜波 ,  赵雪静 ,  王洋洋

IPC: G06F17/30 ,  G06F3/06 ,  G06F11/14

CPC classification number: G06F16/273 ,  G06F3/0689 ,  G06F11/1469 ,  G06F16/211 ,  G06F16/2365

Abstract: 本发明涉及一种基于RAID 0存储的MPP数据库集群副本实现方法，其技术特点是包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现：进行数据库存储部署；计算副本存储位置；创建副本存储实体；进行副本元信息维护；进行副本数据访问；使用数据一致性维护模块进行副本数据一致性维护。本发明设计合理，其为MPP数据库集群引入系统层面的数据冗余，通过牺牲一定的存储空间来换取数据安全，提高了系统可用性；当出现硬件故障或副本数据被破坏(失效)时，系统自动将对该数据分片的访问导向另一个可用副本，实现对外不间断服务,并且解决单一数据并发访问“过热”问题，提高系统的吞吐性能。

公开(公告)号：CN105302638A

公开(公告)日：2016-02-03

申请号：CN201510740736.7

申请日：2015-11-04

Applicant: 国家计算机网络与信息安全管理中心 ,  天津神舟通用数据技术有限公司

Inventor： 王洋 ,  李晓鹏 ,  陈训逊 ,  赵殿奎 ,  吴震 ,  蒋旭 ,  谭炜波 ,  王洋洋 ,  赵雪静

IPC: G06F9/48

Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法，其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集群内所有计算节点的系统负载信息，MPP集群主控节点依据任务的分布信息以及对应节点的负载情况，完成对任务的排队和调度，通过对系统负载的实时监控，实现动态并发控制，可以有效提高资源的利用率，使系统达到最佳吞吐性能。

公开(公告)号：CN102750368B

公开(公告)日：2014-03-26

申请号：CN201210200158.4

申请日：2012-06-18

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李晓鹏 ,  冯柯 ,  蒋志勇 ,  李阳 ,  刘荣 ,  蒋旭 ,  王洋洋 ,  赵雪静 ,  王效忠 ,  关刚 ,  饶路

IPC: G06F17/30

Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。

公开(公告)号：CN102750368A

公开(公告)日：2012-10-24

申请号：CN201210200158.4

申请日：2012-06-18

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李晓鹏 ,  冯柯 ,  蒋志勇 ,  李阳 ,  刘荣 ,  蒋旭 ,  王洋洋 ,  赵雪静 ,  王效忠 ,  关刚 ,  饶路

IPC: G06F17/30

Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。