数据存储业务控制方法及系统

    公开(公告)号:CN102129435B

    公开(公告)日:2013-03-27

    申请号:CN201010034154.4

    申请日:2010-01-13

    Abstract: 本发明提供了一种数据存储业务控制方法及系统,其中,该方法包括:在数据存储业务启动时,磁盘将日志索引文件加载至内存,日志索引文件包括多个用于表征日志文件属性的日志索引;内存在根据日志索引文件判定磁盘配额未满时,将接收的数据添加至日志文件中,并修改或新增对应于添加数据的日志文件的日志索引;内存将修改或新增的日志索引同步至磁盘。本发明通过建立日志索引文件并将该日志索引文件加载至内存使得内存根据该日志索引文件即可判断磁盘的使用状况进而进行数据操作,避免了现有技术中对象索引文件加载速度慢而影响系统启动速度的缺陷。

    聚类实现方法及系统
    52.
    发明授权

    公开(公告)号:CN101996197B

    公开(公告)日:2012-12-26

    申请号:CN200910091864.8

    申请日:2009-08-31

    Abstract: 本发明公开了聚类实现方法及系统。包括:由主控节点对样本分块,并将分块样本分配给至少两个计算节点,由各计算节点并行参与计算,将本地样本归属到对应聚类中,并对每一个聚类统计本地各样本的样本值的和值传送给合并节点,再由合并节点得到每一个聚类的虚拟聚类中心点信息,并传送给主控节点,由主控节点判断是否进行聚类中心点更新,以及是否启动下一轮聚类计算。本发明通过多个节点参与聚类实现过程,在聚类计算及合并过程中通过采用多个节点并行处理,解决了现有技术对海量数据无法实现聚类处理及处理效率低的问题。

    一种基于云计算的数据挖掘方法、系统及装置

    公开(公告)号:CN102567396A

    公开(公告)日:2012-07-11

    申请号:CN201010616075.4

    申请日:2010-12-30

    Abstract: 本发明公开了一种基于云计算的数据挖掘方法、系统及装置,用以解决现有数据挖掘过程中效率低,无法满足海量数据处理需求的问题。该系统当PDM服务器接收到web服务器拆分后的用户的数据挖掘请求对应的每个子任务后,根据保存的并行算法,确定每个子任务对应的并行作业任务,向云平台集群控制节点发送该并行作业任务,将接收到的云平台集群控制节点返回的挖掘数据进行整合后提供个web服务器。由于在本发明实施例中该数据挖掘的过程通过web方式实现,因此该数据挖掘的方法可以同时为多个用户提供,并且该数据挖掘的过程中基于并行作业任务进行挖掘,因此有效的提高了数据挖掘的效率。

    一种故障关系生成及故障确定方法及装置

    公开(公告)号:CN102546205A

    公开(公告)日:2012-07-04

    申请号:CN201010597571.X

    申请日:2010-12-20

    Abstract: 本发明公开了一种故障关系生成及故障确定方法及装置,用以解决系统结构复杂,无法进行故障定位的问题。该方法根据报警事件发生的时间,确定该报警事件对应故障的每个有效期信息,并确定在每个有效期内发生的其他报警事件,将每个报警事件作为故障关系中的节点,连接该报警事件对应的节点到其导致的该确定的其他报警时间对应的节点的路径从而生成故障关系。由于在本发明实施例中根据在报警事件的有效期内发生的其他报警事件,从而确定报警事件与其他报警事件之间的关系,因此在进行故障定位时可以根据生成的故障关系进行故障定位,从而为复杂的系统提供了一种有效,准确的故障定位方法。

    一种数据搜索方法及系统
    55.
    发明公开

    公开(公告)号:CN102411584A

    公开(公告)日:2012-04-11

    申请号:CN201010291290.1

    申请日:2010-09-25

    Abstract: 本发明公开了一种数据搜索方法及系统,包括:采集网页数据和专业数据;并根据采集的网页数据和专业数据分别建立网页数据记录库和专业数据记录库,其中,网页数据记录库中包括若干个网页数据记录,专业数据记录库中包括若干个专业数据记录;并分别建立关键字与网页数据记录的第一索引和关键字与专业数据记录的第二索引;并在接收到用户的第一搜索请求后,按照第一搜索请求中携带的检索关键字查询建立的第一索引和第二索引,获得与检索关键字对应的各网页数据记录和各专业数据记录以及将获得的各网页数据记录和各专业数据记录作为第一搜索结果返回给用户。采用本发明实施例提供的方案,能够为用户提供更准确的信息搜索。

    建立数据索引的方法、利用该索引查询数据的方法和系统

    公开(公告)号:CN102375852A

    公开(公告)日:2012-03-14

    申请号:CN201010261159.0

    申请日:2010-08-24

    Abstract: 公开了一种在数据库中查询数据的方法、数据库查询系统和建立数据库索引的方法。在数据库中查询数据的方法包括:接收数据查询指令并确定所述数据查询指令中包括的索引键值;确定所述索引键值是用于近似索引还是精确索引;如果确定的结果是所述索引键值是用于近似索引,则通过所述索引键值,从所述近似索引在单位存储空间中标识的位置开始扫描查询数据记录,以及如果确定的结果是所述索引键值是用于精确索引,则通过所述索引键值在所述单位存储空间中标识的位置处查询数据记录。

    数据采集系统和方法
    57.
    发明公开

    公开(公告)号:CN102375837A

    公开(公告)日:2012-03-14

    申请号:CN201010257383.2

    申请日:2010-08-19

    Abstract: 本发明提供了数据采集系统和方法。数据采集系统可包括多个调度服务器和多个采集服务器。调度服务器可包括生成单元,生成采集任务;发送单元,将采集任务发送给多个采集服务器中当前处于待接收状态的采集服务器。采集服务器可包括拆分单元,将接收到的采集任务拆分为多个子任务;子任务发送单元,将多个子任务发送给多个调度服务器中当前处于待接收状态的调度服务器。调度服务器接收到的子任务可由调度服务器的发送单元发送给多个采集服务器中当前处于待接收状态的采集服务器。采集服务器可进一步包括执行单元,根据所接收的子任务,执行数据采集。通过本发明,可提高数据采集的效率,并能够利用分布式并行处理能力,实现针对海量数据的数据采集。

    应用产品开发系统、方法、装置和运行系统、方法、装置

    公开(公告)号:CN102375734A

    公开(公告)日:2012-03-14

    申请号:CN201010260985.3

    申请日:2010-08-23

    Abstract: 本发明提供了一种应用产品开发系统、方法、装置和运行系统、方法、装置。该开发系统包括开发套件和能力提供层;所述开发套件,从所述能力提供层获取所述应用产品的能力元数据描述,根据所述能力元数据描述生成所述应用产品的描述性文件;所述能力提供层,提供所述应用产品的能力元数据描述;其中,所述能力元数据描述用于描述所述应用产品的各种能力。应用本发明能够方便应用产品的开发,降低对开发人员的要求,同时提高应用产品的升级灵活性。

    分布式列存储数据库索引建立、查询方法及装置与系统

    公开(公告)号:CN101727465B

    公开(公告)日:2011-12-21

    申请号:CN200810225486.3

    申请日:2008-11-03

    CPC classification number: G06F17/30321 G06F17/30315

    Abstract: 本发明公开了一种分布式列存储数据库索引建立方法、查询方法及装置与系统。该分布式列存储数据库索引建立方法包括:获取分布式列存储数据库中的列字段,生成以所述列字段作为关键字的列索引文件,所述列索引文件中包含所述列字段在所述分布式列存储数据库中的值与对应的Row字段值的映射关系;存储所述列索引文件到所述分布式列存储数据库中与所述列字段对应的索引目录下。客户端发起以列字段作为查询条件和查询结果的查询请求时,通过匹配出相应的列索引文件,得到对应的Row字段值,从而实现索引查询。采用本发明能在现有分布式列存储数据库中,实现除Row字段外的其它列字段快速查询。

    数据挖掘方法和数据挖掘系统

    公开(公告)号:CN101799809B

    公开(公告)日:2011-12-14

    申请号:CN200910077661.3

    申请日:2009-02-10

    Abstract: 本发明公开了数据挖掘方法及数据挖掘系统,本发明方法包括:设置数据挖掘的工作流,所述工作流中包括多个并行的数据处理任务;启动所述工作流,并在所述多个并行的数据处理任务被触发时,为其中的每个数据处理任务分配执行节点,以使所述多个并行的数据处理任务在分配的执行节点上并行执行;以及,所述执行节点在执行每个数据处理任务时,通过Map/Reduce机制将数据处理任务分配给并行执行的Map任务进行处理,将该数据处理任务对应的各Map任务的处理结果通过相应的Reduce任务进行合并处理得到相应数据处理任务的处理结果。采用本发明,可提高数据挖掘效率。

Patent Agency Ranking