基于大数据的网站用户行为数据采集方法、系统及应用

    公开(公告)号:CN107908748A

    公开(公告)日:2018-04-13

    申请号:CN201711147181.0

    申请日:2017-11-17

    发明人: 甘傲然

    IPC分类号: G06F17/30

    摘要: 一种基于大数据的网站用户行为数据采集方法、系统及应用,包括网站插码的步骤,收集用户行为数据的步骤,将用户行为数据包转化成用户行为日志文件的步骤,将用户行为日志文件发送至数据收集云存储的步骤,将不断增加的用户行为日志文件中的数据实时传输给大数据存储的步骤,大数据存储的步骤,采用分布式集群部署,用户行为数据采集与网站应用本身分离,有效降低了用户行为数据采集对网站应用性能的影响。脱离了数据库存储网站用户行为采集数据的方式,分离了用户行为数据对数据库服务器的依赖关系,有效解决海量级数据的查询、分析和统计的问题。

    数据管理方法及数据服务器
    2.
    发明公开

    公开(公告)号:CN106294627A

    公开(公告)日:2017-01-04

    申请号:CN201610624761.3

    申请日:2016-07-28

    发明人: 李鹏 于洋 郭振强

    IPC分类号: G06F17/30

    CPC分类号: G06F17/302

    摘要: 本发明实施例提供一种数据管理方法及数据服务器,该方法包括:接收客户端发送数据存储请求,数据存储请求用于指示对待存储数据文件进行存储;判断存储节点中是否存在与待存储数据文件相同的已存储数据文件;若是,则获取已存储数据文件在存储节点中的当前绝对路径,将当前绝对路径确定为待存储文件的绝对路径;若否,则获取待存储数据文件的多个子数据文件,确定各子数据文件对应的存储节点,并将各子数据文件存储至对应的存储节点中。于提高数据存储的效率。

    文件在线迁移方法、装置和系统

    公开(公告)号:CN102611745B

    公开(公告)日:2015-02-25

    申请号:CN201210045643.9

    申请日:2012-02-27

    发明人: 孔晗 王瑞

    IPC分类号: H04L29/08

    CPC分类号: G06F17/302 G06F17/30221

    摘要: 本发明提供一种文件在线迁移方法、装置和系统。该方法包括:通过网络文件共享协议将源设备挂载到目标设备,所述源设备和目标设备均为NAS设备;在目标设备上建立源设备上文件的镜像文件,所述镜像文件初始为空文件;通过网络文件共享协议将源设备上文件中的数据通过网络传输迁移至目标设备;在数据迁移过程中由目标设备处理用户的访问请求。本发明技术方案可在两个NAS设备之间实现文件的在线迁移,可适用不同标准或厂商制作的NAS设备之间文件的在线迁移。

    索引信息的存储、查找方法及装置

    公开(公告)号:CN102238202B

    公开(公告)日:2014-12-03

    申请号:CN201010155688.2

    申请日:2010-04-23

    发明人: 龚皓 施广宇

    IPC分类号: H04L29/08 H04L29/06

    CPC分类号: G06F17/302 G06F17/30094

    摘要: 本发明公开了一种索引信息存储方法,该方法包括:在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储。本发明同时公开了一种索引信息的查找方法、索引信息存储装置、索引信息的查找装置、通信网络系统。采用本发明可以有效地获得所有内容的完整的索引信息状态;有利于实现流量均衡和流量本地化;提高索引查找的效率,大大降低现有技术多跳查找时所带来的网络传输延时;以及,提高核心网络中索引节点上索引信息的利用率。

    云存储方法及装置、云存储数据下载方法及装置

    公开(公告)号:CN103856499A

    公开(公告)日:2014-06-11

    申请号:CN201210499475.0

    申请日:2012-11-29

    发明人: 马崴

    IPC分类号: H04L29/08

    摘要: 本发明公开一种云存储方法及装置、云存储数据下载方法及装置,本云存储方法包括:接收到数据存储请求后,将要上传的数据分为多组分数据,并为其分配不同的服务器;将多组分数据上传至相应的服务器,并在上传成功后更新数据表中每组分数据与服务器之间的映射关系。本云存储方法,通过将完整的用户数据拆分为若干部分,分别存储在不同的服务提供商,这样可以保证单个服务提供商无法获取用户的隐私数据,即使服务器被攻击时,也不会导致用户信息被泄露。

    文件在线迁移方法、装置和系统

    公开(公告)号:CN102611745A

    公开(公告)日:2012-07-25

    申请号:CN201210045643.9

    申请日:2012-02-27

    发明人: 孔晗 王瑞

    IPC分类号: H04L29/08

    CPC分类号: G06F17/302 G06F17/30221

    摘要: 本发明提供一种文件在线迁移方法、装置和系统。该方法包括:通过网络文件共享协议将源设备挂载到目标设备,所述源设备和目标设备均为NAS设备;在目标设备上建立源设备上文件的镜像文件,所述镜像文件初始为空文件;通过网络文件共享协议将源设备上文件中的数据通过网络传输迁移至目标设备;在数据迁移过程中由目标设备处理用户的访问请求。本发明技术方案可在两个NAS设备之间实现文件的在线迁移,可适用不同标准或厂商制作的NAS设备之间文件的在线迁移。

    存储装置、存储系统及其控制

    公开(公告)号:CN101601020A

    公开(公告)日:2009-12-09

    申请号:CN200880002893.6

    申请日:2008-01-21

    发明人: 斋藤伸介

    IPC分类号: G06F13/00 G06F13/10

    摘要: 存储装置(200)通过内部网络(12)连接到外部网络(11),并设置有存储介质(242)和访问单元(U1)。该存储介质(242)存储有文件。该访问单元(U1)通过将访问存储介质(242)的目标文件附加到电子邮件并与连接到外部网络(11)的终端(400、600)执行电子邮件的数据通信,来接受从终端(400、600)对存储介质(242)的访问。

    点云数据存储、并行计算和实时检索的方法及其系统

    公开(公告)号:CN107515952A

    公开(公告)日:2017-12-26

    申请号:CN201710859626.1

    申请日:2017-09-21

    发明人: 李峥嵘

    IPC分类号: G06F17/30

    摘要: 本发明提供了一种点云数据存储、并行计算和实时检索的方法及其系统,它解决了现有技术对海量的点云数据处理不够精准等问题。包括以下步骤:S1:数据存储,包括从客户端读取点云数据并将点云数据写入Hadoop HDFS分布式文件系统中;S2:数据并行计算,包括通过数据划分模块将点云数据按照地理位置划分为若干子区域数据后将每个子区域数据传入Hadoop集群的计算节点以对点云数据进行信息抽取;S3:数据实时检索,包括把Hadoop集群的点云数据导入至HBase数据库中,并基于检索条件采用HBase Endpoint机制的空间数据检索方法在Hbase Region Server中进行并行检索。本发明具有以下优点:采用Hadoop架构对海量点云数据进行处理,实现基于地理位置的数据分割和并行处理等目的。