-
公开(公告)号:CN107908748A
公开(公告)日:2018-04-13
申请号:CN201711147181.0
申请日:2017-11-17
申请人: 南京感度信息技术有限责任公司
发明人: 甘傲然
IPC分类号: G06F17/30
CPC分类号: G06F17/302 , G06F17/30191 , G06F17/3089
摘要: 一种基于大数据的网站用户行为数据采集方法、系统及应用,包括网站插码的步骤,收集用户行为数据的步骤,将用户行为数据包转化成用户行为日志文件的步骤,将用户行为日志文件发送至数据收集云存储的步骤,将不断增加的用户行为日志文件中的数据实时传输给大数据存储的步骤,大数据存储的步骤,采用分布式集群部署,用户行为数据采集与网站应用本身分离,有效降低了用户行为数据采集对网站应用性能的影响。脱离了数据库存储网站用户行为采集数据的方式,分离了用户行为数据对数据库服务器的依赖关系,有效解决海量级数据的查询、分析和统计的问题。
-
公开(公告)号:CN106294627A
公开(公告)日:2017-01-04
申请号:CN201610624761.3
申请日:2016-07-28
申请人: 五八同城信息技术有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/302
摘要: 本发明实施例提供一种数据管理方法及数据服务器,该方法包括:接收客户端发送数据存储请求,数据存储请求用于指示对待存储数据文件进行存储;判断存储节点中是否存在与待存储数据文件相同的已存储数据文件;若是,则获取已存储数据文件在存储节点中的当前绝对路径,将当前绝对路径确定为待存储文件的绝对路径;若否,则获取待存储数据文件的多个子数据文件,确定各子数据文件对应的存储节点,并将各子数据文件存储至对应的存储节点中。于提高数据存储的效率。
-
公开(公告)号:CN102611745B
公开(公告)日:2015-02-25
申请号:CN201210045643.9
申请日:2012-02-27
申请人: 华为数字技术(成都)有限公司
IPC分类号: H04L29/08
CPC分类号: G06F17/302 , G06F17/30221
摘要: 本发明提供一种文件在线迁移方法、装置和系统。该方法包括:通过网络文件共享协议将源设备挂载到目标设备,所述源设备和目标设备均为NAS设备;在目标设备上建立源设备上文件的镜像文件,所述镜像文件初始为空文件;通过网络文件共享协议将源设备上文件中的数据通过网络传输迁移至目标设备;在数据迁移过程中由目标设备处理用户的访问请求。本发明技术方案可在两个NAS设备之间实现文件的在线迁移,可适用不同标准或厂商制作的NAS设备之间文件的在线迁移。
-
公开(公告)号:CN102238202B
公开(公告)日:2014-12-03
申请号:CN201010155688.2
申请日:2010-04-23
申请人: 华为技术有限公司
CPC分类号: G06F17/302 , G06F17/30094
摘要: 本发明公开了一种索引信息存储方法,该方法包括:在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储。本发明同时公开了一种索引信息的查找方法、索引信息存储装置、索引信息的查找装置、通信网络系统。采用本发明可以有效地获得所有内容的完整的索引信息状态;有利于实现流量均衡和流量本地化;提高索引查找的效率,大大降低现有技术多跳查找时所带来的网络传输延时;以及,提高核心网络中索引节点上索引信息的利用率。
-
公开(公告)号:CN103856499A
公开(公告)日:2014-06-11
申请号:CN201210499475.0
申请日:2012-11-29
申请人: 中兴通讯股份有限公司
发明人: 马崴
IPC分类号: H04L29/08
CPC分类号: H04L67/06 , G06F17/302 , H04L63/1441 , H04L67/1097
摘要: 本发明公开一种云存储方法及装置、云存储数据下载方法及装置,本云存储方法包括:接收到数据存储请求后,将要上传的数据分为多组分数据,并为其分配不同的服务器;将多组分数据上传至相应的服务器,并在上传成功后更新数据表中每组分数据与服务器之间的映射关系。本云存储方法,通过将完整的用户数据拆分为若干部分,分别存储在不同的服务提供商,这样可以保证单个服务提供商无法获取用户的隐私数据,即使服务器被攻击时,也不会导致用户信息被泄露。
-
公开(公告)号:CN102611745A
公开(公告)日:2012-07-25
申请号:CN201210045643.9
申请日:2012-02-27
申请人: 成都市华为赛门铁克科技有限公司
IPC分类号: H04L29/08
CPC分类号: G06F17/302 , G06F17/30221
摘要: 本发明提供一种文件在线迁移方法、装置和系统。该方法包括:通过网络文件共享协议将源设备挂载到目标设备,所述源设备和目标设备均为NAS设备;在目标设备上建立源设备上文件的镜像文件,所述镜像文件初始为空文件;通过网络文件共享协议将源设备上文件中的数据通过网络传输迁移至目标设备;在数据迁移过程中由目标设备处理用户的访问请求。本发明技术方案可在两个NAS设备之间实现文件的在线迁移,可适用不同标准或厂商制作的NAS设备之间文件的在线迁移。
-
公开(公告)号:CN101601020A
公开(公告)日:2009-12-09
申请号:CN200880002893.6
申请日:2008-01-21
申请人: 巴比禄股份有限公司
发明人: 斋藤伸介
CPC分类号: H04L67/06 , G06F17/302 , H04L51/00
摘要: 存储装置(200)通过内部网络(12)连接到外部网络(11),并设置有存储介质(242)和访问单元(U1)。该存储介质(242)存储有文件。该访问单元(U1)通过将访问存储介质(242)的目标文件附加到电子邮件并与连接到外部网络(11)的终端(400、600)执行电子邮件的数据通信,来接受从终端(400、600)对存储介质(242)的访问。
-
公开(公告)号:CN101263494A
公开(公告)日:2008-09-10
申请号:CN200680032142.X
申请日:2006-10-02
申请人: 新途径网络公司
发明人: 帕那吉帝斯·帝斯里高帝斯 , 格萨·斯里克塔 , 托马斯·K·王 , 黄知明 , 阿南德·伊耶戈尔 , 拉杰韦·乔拉 , 理查德·斯姆金斯 , 刘祖为 , 高拉夫·古普塔 , 马修·赛茨 , 于·崇·常恩
IPC分类号: G06F17/30
CPC分类号: G06F17/30082 , G06F17/302 , G06F17/30227
摘要: 一种用于利用与访问频率和文件属性累积相关的数据来执行基于策略的存储管理的系统和方法(图1)。交换机设备提供对于客户端和存储网络之间的事务的透明性(图1)。该透明性允许在存储网络上移动对象而不影响对客户端所使用的对象的引用(图1)。监控模块生成与事务相关联的累积数据以用于基于策略的管理(图1)。累积数据可以描述文件的使用,例如某些文件被访问的频繁程度、对文件的修改(例如新目录或文件的创建)以及其他使用(图1)。
-
公开(公告)号:CN104508662B
公开(公告)日:2017-12-29
申请号:CN201380024978.5
申请日:2013-05-10
申请人: 国际商业机器公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30598 , G06F17/30091 , G06F17/301 , G06F17/30194 , G06F17/302
摘要: 在一个或多个计算机系统上执行的分类系统(900)包括处理器(912)和耦合到所述处理器的存储器(914)。所述存储器包括发现引擎(932),其经配置以遍历非易失性存储器存储区,以通过跟踪从文件系统挂载点经过文件系统对象并到磁盘对象的一个或多个文件,发现所述一个或多个文件在一个或多个计算机存储系统中的身份和位置。分类器(934)经配置以将所述一个或多个文件分类成分类类别。所述一个或多个文件被与所述分类类别关联并存储在至少一个数据结构中。同时提供方法。
-
公开(公告)号:CN107515952A
公开(公告)日:2017-12-26
申请号:CN201710859626.1
申请日:2017-09-21
申请人: 北京星闪世图科技有限公司
发明人: 李峥嵘
IPC分类号: G06F17/30
CPC分类号: G06F17/30097 , G06F17/30109 , G06F17/302 , G06F17/30241
摘要: 本发明提供了一种点云数据存储、并行计算和实时检索的方法及其系统,它解决了现有技术对海量的点云数据处理不够精准等问题。包括以下步骤:S1:数据存储,包括从客户端读取点云数据并将点云数据写入Hadoop HDFS分布式文件系统中;S2:数据并行计算,包括通过数据划分模块将点云数据按照地理位置划分为若干子区域数据后将每个子区域数据传入Hadoop集群的计算节点以对点云数据进行信息抽取;S3:数据实时检索,包括把Hadoop集群的点云数据导入至HBase数据库中,并基于检索条件采用HBase Endpoint机制的空间数据检索方法在Hbase Region Server中进行并行检索。本发明具有以下优点:采用Hadoop架构对海量点云数据进行处理,实现基于地理位置的数据分割和并行处理等目的。
-
-
-
-
-
-
-
-
-