公开(公告)号：CN104270402A

公开(公告)日：2015-01-07

申请号：CN201410420267.6

申请日：2014-08-25

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 陈大雅 ,  程瑶 ,  刘粉粉

IPC: H04L29/08 ,  H04L12/803 ,  G06F3/06

CPC classification number: H04L67/1002 ,  H04L67/1097

Abstract: 本发明公开一种异构集群存储自适应数据负载的方法，属于计算机系统存储领域；具体步骤为：①基本的负载的均衡，在系统初建时，根据节点的最大负载能力，将数据分布在集群的各个节点上；②自适应分布式的增量负载的均衡，在系统运行时，实时地收集各个节点资源占用情况，自适应地、动态地调整数据分布情况；③采用基于权重的hash方法，在系统初建时将数据的负载大小视为相同，把异构服务器的性能作为权重，在集群之间均衡地分布数据负载；本发明适用于在高压力、高并发读写、多用户、异构的大规模分布式存储系统可以处理异构的数据负载，自适应地根据负载调整其在服务器之间的分布。

公开(公告)号：CN103997524A

公开(公告)日：2014-08-20

申请号：CN201410215470.X

申请日：2014-05-21

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 陈大雅 ,  程瑶 ,  文中领

IPC: H04L29/08 ,  H04L12/24

Abstract: 本发明公开了一种高可用、高可扩展、分布式的模块化网络爬虫，提出了一种新型网络爬虫体系结构,该体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块，所述资源模块包括控制模块、网页存储模块和通信模块；该新型网络爬虫体系结构以控制模块为核心，采用事件驱动的编程模型，通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置，使分布式爬虫体系具有可扩展性和高可用性，很适合用于海量数据的抓取工作，适合用于云计算中心。

公开(公告)号：CN103984777A

公开(公告)日：2014-08-13

申请号：CN201410248277.6

申请日：2014-06-06

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 程瑶 ,  刘粉粉 ,  陈大雅

IPC: G06F17/30

CPC classification number: G06F17/30584

Abstract: 本发明公开了一种基于数据库同步的舆情分析系统优化方法,在数据库同步环节对数据进行筛选，通过控制进入舆情分析系统的数据，进行舆情分析系统优化；在采集信息导入舆情分析系统时，在数据同步模块中加入舆情包含词库、舆情排除词库信息，把数据库模块中的信息分词后，先后比对这两个词库中的词汇，若这条信息的词汇里有舆情包含词库词汇且没有舆情排除词库的词汇，则这条信息是舆情信息导入到舆情分析系统里，这样减小了舆情分析系统数据量的压力，提升了分析灵敏度和分析结果的准确性。

公开(公告)号：CN103516809A

公开(公告)日：2014-01-15

申请号：CN201310494887.X

申请日：2013-10-22

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 陈大雅 ,  李桂周 ,  刘粉粉

IPC: H04L29/08

Abstract: 本发明涉及计算机存储领域，公开了一种高扩展、高性能的分布式存储体系结构，包括存储节点，元数据节点，路由节点，配置节点，其中，以存储节点为核心，通过路由节点、元数据节点、配置信息节点的配合，简化复杂的存储协议，实现高扩展、高性能的分布式存储集群，并且实现简单可靠的负载均衡机制和高可用机制，其中，存储节点是体系的核心，元数据节点主要负责元数据的存储，元数据节点主要负责元数据的存储，配置节点存储集群的配置信息。本发明弥补了传统分布式存储系统的不足，使其体系结构所带来的高扩展、高性能、高可用等诸多特性，更加适用于大数据存储、云计算等需要存储海量数据的领域，因而具有非常广阔的发展前景。