高可用、高可扩展、分布式的模块化网络爬虫

    公开(公告)号:CN103997524A

    公开(公告)日:2014-08-20

    申请号:CN201410215470.X

    申请日:2014-05-21

    Abstract: 本发明公开了一种高可用、高可扩展、分布式的模块化网络爬虫,提出了一种新型网络爬虫体系结构,该体系结构主要包括:资源模块、网页下载模块、网页分解模块以及事件驱动模块,所述资源模块包括控制模块、网页存储模块和通信模块;该新型网络爬虫体系结构以控制模块为核心,采用事件驱动的编程模型,通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置,使分布式爬虫体系具有可扩展性和高可用性,很适合用于海量数据的抓取工作,适合用于云计算中心。

    一体化数据灾备系统设计方法

    公开(公告)号:CN103152407A

    公开(公告)日:2013-06-12

    申请号:CN201310054120.5

    申请日:2013-02-20

    Abstract: 本发明提供一体化数据灾备系统设计方法,该方法是从整个灾备技术的基础原理上考虑,数据灾备的过程本质上就是一次数据的复制过程。当进行备份时,数据从代理客户端复制到数据存储介质上;当进行恢复时,数据从数据存储介质复制到代理客户端;当需要归档时,数据从一个数据存储介质复制到另一个数据存储介质上。利用这种通用性,在灾备软件设计时将各类灾备任务进行整合,使其能够进行统一的管理与操作。从存储技术的基础原理上考虑,数据存储的过程就是一种信息状态的转换与记录,而这种转换与记录的操作方式可以抽象为一组操作接口,如打开,关闭,读取,写入,属性控制等。而这种抽象为统一存储提供了可能性。

    一种长短周期访问频度的全局共享缓存替换方法

    公开(公告)号:CN103246616B

    公开(公告)日:2017-09-26

    申请号:CN201310195427.7

    申请日:2013-05-24

    Abstract: 本发明提供一种长短周期访问频度的全局共享缓存替换方法,主机端对数据主要有两种访问方式:长期周期访问和短期频繁访问,长期周期访问是指数据块在间隔较长的时间内被周期性的重复访问,而传统的基于老化处理替换策略不能识别这一类型的数据访问,导致缓存在应对此类访问时缓存完全失效。为了解决上述技术问题,本发明提供了一种实现长短周期访问频度的全局共享缓存替换方法,该方法包括映射管理器,缓存替换处理,缓存分配处理,镜像处理和cache一致性处理五个模块。

    一种实现存储系统自动精简配置和精简分配的方法

    公开(公告)号:CN103106150B

    公开(公告)日:2016-12-28

    申请号:CN201310056706.5

    申请日:2013-02-22

    Abstract: 本发明提供一种实现存储系统自动精简配置和精简分配的方法,本发明能够自动的、精简的按需分配自动精简配置的存储池空间,能够最大化合理的利用存储系统的物理存储空间。够实现自动精简设备存储池的精简分配,存储池空间自动按需分配,保证精简分配过程数据块的正确性和数据的一致性。能够按需分配存储池空间,通过精简分配将存储池空间自动分配给精简卷以供使用者使用,使用者无需人工干预精简分配过程。本发明的友谊效果是,通过该系统架构,能采用该系统架构,可以自动的、精简的分配存储池空间,当需要存储池提供空间的时候,自动精简配置才会精简的分配存储池空间。

    一种基于实时应用集群的元数据集群设计方法

    公开(公告)号:CN103795801A

    公开(公告)日:2014-05-14

    申请号:CN201410048696.5

    申请日:2014-02-12

    Abstract: 本发明提供一种基于实时应用集群的元数据集群设计方法,其具体设计过程为:初始部署:首先进行元数据集群的初始配置,由若干元数据节点组成元数据集群,生成配置文件并同步至各个元数据节点,分别在各元数据节点上完成元数据存储的初始化;启动集群时顺序启动各个元数据节点,配置文件中编号最小的元数据节点自动取得领导权,并引导整个元数据集群建立全局一致性缓存和共享锁;故障恢复;增加新的元数据节点。该一种基于实时应用集群的元数据集群设计方法和现有技术相比,实现集群文件系统中元数据集群的横向扩展,有效的解决了大规模集群文件系统中的元数据性能瓶颈,实用性强,易于推广。

    一种加强磁盘阵列可靠性的方法

    公开(公告)号:CN103488434A

    公开(公告)日:2014-01-01

    申请号:CN201310434139.2

    申请日:2013-09-23

    Inventor: 古世磊 文中领

    Abstract: 本发明公开了一种加强磁盘阵列可靠性的方法,包括如下步骤:提供一块数据备份热备盘,用于在写数据的过程中,对每块盘的数据进行备份;提供一块数据转移热备盘,用于在预测某个盘可能要失效时,对该预测可能失效的盘进行数据转移;本发明提供一块数据备份热备盘以及一块数据转移热备盘,数据备份热备盘用于在写数据的过程中,对每块盘的数据进行备份;而数据转移热备盘用于在预测某个盘可能要失效时,对该预测可能失效的盘进行数据转移。从而,可以减少数据重构的时间,为重构的顺利完成提供保障,可以大大提高系统的可靠性。

    一种全局共享缓存的紧耦合多控多活存储系统的设计方法

    公开(公告)号:CN103327074A

    公开(公告)日:2013-09-25

    申请号:CN201310195430.9

    申请日:2013-05-24

    Abstract: 本发明提供一种全局共享缓存的紧耦合多控多活存储系统的设计方法,系统采用多层次的系统高可用机制,部件层支持控制器、电源、散热模块等部件的在线冗余配置,各模块在损坏故障50%的情况下,系统仍可以正常使用,系统软件层采用双向环形心跳算法,每个控制器节点同时向自己的前续和后续控制器发送心跳信息,随着控制器数量的增长,每个节点的心跳计算负载是固定的,双向环形心跳可以更快的发现多个连续节点失效,并且具有良好的可扩展性。

    一种主机端与存储端协同的多控IO调度方法

    公开(公告)号:CN103324444A

    公开(公告)日:2013-09-25

    申请号:CN201310195428.1

    申请日:2013-05-24

    Abstract: 本发明提供一种主机端与存储端协同的多控IO调度方法,多路径调度组件与传统调度组件的区别在于分布结构的不同,物理上分为服务端的多路径组件和存储控制器的路径调度组件,其中,多路径组件部署在文件系统和网络存储驱动之间,用于从文件系统端接收IO请求,并将请求进行队列化,其队列化的个体策略依赖于所述存储控制器的路径调度组件的决策和自身路径决策结合,所述策略区别于传统的策略在于动态调整IO队列,以使系统吞吐始终处于均衡状态,所述路径调度组件有两方面的工作,一方面,等时多点收集存储系统各控制器的可量化性能测量指标形成历史参考值,并根据参考值采用智能化预测算法对将来路径性能进行评价,传递到服务端用于路径评价和决策;另一方面,链路出现故障时,会及时得到通知并尝试自修复。

    一种紧耦合多控存储系统控制器之间的高速互联方法

    公开(公告)号:CN103257946A

    公开(公告)日:2013-08-21

    申请号:CN201310195426.2

    申请日:2013-05-24

    Abstract: 本发明提供一种紧耦合多控存储系统控制器之间的高速互联方法,该方法是多控存储系统中的控制器资源调度与协调是通过系统程序进行控制器资源调度决策,进而实现不同控制器间的数据传输,存储控制器CPU将决策信息进行封装后发送至北桥扩展出的高速总线,数据交换器将数据中的目的信息进行解析,对照本地FW对应表进行总线的连接状态调整实现多控之间的数据定向传输,控制器耦合而成的集群存储系统,有的厂商采用的是存储节点堆叠,有的厂商仅仅是控制单元堆叠。不管是那种方式,其共同的优点是减少了生产的成本,使得厂商可以通过标准的模块组合形成大型存储系统,以适应大型应用系统对于存储容量和性能的要求。通过这种标准化,可以减少生产环节的成本损失,降低系统研发周期。

    一种实现存储系统自动精简配置全额分配的系统

    公开(公告)号:CN103744792B

    公开(公告)日:2017-10-31

    申请号:CN201410011641.7

    申请日:2014-01-10

    Abstract: 本发明公开了一种实现存储系统自动精简配置全额分配的系统架构,在自动全额分配算法上,采用先完成存储池实际存储空间块的分配,然后再完成存储池到全额分配卷的块的映射过程,保证全额分配过程的正确性,针对全额分配过程,采用块管理机制,只允许一个数据块有一个分配者,从而在按需分配的过程中,避免并发操作同一个块的事件发生,保证分配数据块的唯一性,为了保证在自动精简配置系统下全额分配的特性,屏蔽全额分配卷的精简回收属性,保证全额分配特性的永久性;采用本发明,能够实现自动精简配置存储池的全额分配,按用户需求全额分配自动精简配置存储池空间,能够自动,高效的完成自动精简配置存储池全额分配的工作。

Patent Agency Ranking