一种海量非结构化数据的数据存储方法

    公开(公告)号:CN104731864B

    公开(公告)日:2018-05-29

    申请号:CN201510088785.7

    申请日:2015-02-26

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种海量非结构化数据的数据存储方法。本方法为:1)设定一时间间隔T,将数据存储集群划分为多个分区,用于将同一时间间隔T内的记录存储到同一分区内;同时将每一分区划分为n个散列区;2)对于每条非结构化记录,提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key;3)根据每条记录的时间t,确定其要存储到的分区,然后根据该记录的关键信息key计算其在该分区中对应的散列区值;4)根据步骤3)的计算结果,将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数,如果记录数大于设定阈值K,则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。

    一种海量结构化日志数据全局索引管理方法及装置

    公开(公告)号:CN103544261B

    公开(公告)日:2016-06-22

    申请号:CN201310484663.0

    申请日:2013-10-16

    IPC分类号: G06F17/30

    摘要: 本发明涉及一种海量结构化日志数据全局索引管理方法,包括以下步骤:在数据存储子系统中在其内部的各个数据节点中建立关于结构化日志数据的局部数据块及索引信息,在全局索引服务器中建立全局索引表;客户端解析用户输入的查询请求,获取目标局部数据块的信息,客户端确认本地是否有全局索引服务器的地址信息,客户端根据包含有目标局部数据块的数据节点的地址信息向数据存储子系统中的相应数据节点发送远程调用请求;数据存储子系统汇总各数据节点的响应数据,将最终查询结果发送给客户端。本发明该方法有效地增加了系统的查询多样性和查询效率,并且提高了系统的可扩展性。

    一种海量非结构化数据的数据存储方法

    公开(公告)号:CN104731864A

    公开(公告)日:2015-06-24

    申请号:CN201510088785.7

    申请日:2015-02-26

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30628 G06F17/30132

    摘要: 本发明公开了一种海量非结构化数据的数据存储方法。本方法为:1)设定一时间间隔T,将数据存储集群划分为多个分区,用于将同一时间间隔T内的记录存储到同一分区内;同时将每一分区划分为n个散列区;2)对于每条非结构化记录,提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key;3)根据每条记录的时间t,确定其要存储到的分区,然后根据该记录的关键信息key计算其在该分区中对应的散列区值;4)根据步骤3)的计算结果,将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数,如果记录数大于设定阈值K,则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。

    一种基于规则配置的URL搜索关键词提取的方法及系统

    公开(公告)号:CN105631050B

    公开(公告)日:2019-09-17

    申请号:CN201610111430.X

    申请日:2016-03-01

    IPC分类号: G06F16/9535 G06F16/955

    摘要: 本发明公开了一种基于规则配置的URL搜索关键词提取的方法,包括生成规则:对需要支持的搜索引擎的搜索URL进行分析,提取搜索URL特征并生成规则;配置规则:配置上述步骤分析到的规则;URL过滤:接收第三方的URL数据并与配置的所述规则进行匹配来过滤收到的所有URL数据;关键词处理:当有第三方的URL命中所述规则,则提取该URL的搜索关键词。本发明可以通过配置规则来快速的实现对多种搜索引擎的搜索URL关键字进行提取,实现海量URL数据的快速处理,从而在信安系统或舆情系统中使用本发明可以提供强有力的支撑。

    一种LTE多接口数据回填方法和装置

    公开(公告)号:CN106102090B

    公开(公告)日:2019-07-05

    申请号:CN201610421149.6

    申请日:2016-06-14

    IPC分类号: H04W24/04

    摘要: 本发明公开了一种LTE多接口数据回填方法,其特征在于,所述方法包括:采集S1‑MME或者S10接口消息,获取IMSI参数;采集所述S1‑MME接口消息中的至少一个全球唯一临时UE标识GUTI,并与所述IMSI参数建立UTI~IMSI映射表;获取所述S1‑MME接口消息中的会话参数,根据所述会话参数和所述GUTI~IMSI映射表关联所述S1‑MME接口与S6a接口;以及所述LTE中的至少一个接口根据共有关键参数与所述S1‑MME接口关联,回填数据。本发明公开的技术方案能够提高移动用户上网日志查询和网络安全事件追溯的准确性,而且可以提高身份信息的回填率和准确率,提高数据回填的效率。

    一种基于4G网络的IP地址的溯源方法

    公开(公告)号:CN106067880B

    公开(公告)日:2019-05-31

    申请号:CN201610412745.8

    申请日:2016-06-13

    IPC分类号: H04L29/06 H04L29/12 H04W24/08

    摘要: 本发明公开了一种基于4G网络的IP地址的溯源方法,其包括,根据在4G‑LTE网络的S1‑U接口分光采集获取用户的访问信息,在S11接口分光获取用户的账号信息,在防火墙获取NAT地址信息,并进行关联,获取完整的用户访问日志,从而获取用户位置信息标识和用户访问行为;依托现有溯源系统的LAC、SAC信息(基站编号),获取移动用户基于物理位置的溯源信息和网络行为信息。本发明可以基于用户特定信息将物理位置信息和用户行为信息关联起来,从而可以为互联网安全事件溯源和应用等提供移动用户的特定信息,包括移动用户位置信息和网络访问信息,使互联网应用可以进行后续的用户行为分析以及精准营销等行为。

    一种LTE多接口数据回填方法和装置

    公开(公告)号:CN106102090A

    公开(公告)日:2016-11-09

    申请号:CN201610421149.6

    申请日:2016-06-14

    IPC分类号: H04W24/04

    CPC分类号: H04W24/04

    摘要: 本发明公开了一种LTE多接口数据回填方法,其特征在于,所述方法包括:采集S1‑MME或者S10接口消息,获取IMSI参数;采集所述S1‑MME接口消息中的至少一个全球唯一临时UE标识GUTI,并与所述IMSI参数建立UTI~IMSI映射表;获取所述S1‑MME接口消息中的会话参数,根据所述会话参数和所述GUTI~IMSI映射表关联所述S1‑MME接口与S6a接口;以及所述LTE中的至少一个接口根据共有关键参数与所述S1‑MME接口关联,回填数据。本发明公开的技术方案能够提高移动用户上网日志查询和网络安全事件追溯的准确性,而且可以提高身份信息的回填率和准确率,提高数据回填的效率。

    一种基于4G网络的IP地址的溯源方法

    公开(公告)号:CN106067880A

    公开(公告)日:2016-11-02

    申请号:CN201610412745.8

    申请日:2016-06-13

    IPC分类号: H04L29/06 H04L29/12 H04W24/08

    摘要: 本发明公开了一种基于4G网络的IP地址的溯源方法,其包括,根据在4G‑LTE网络的S1‑U接口分光采集获取用户的访问信息,在S11接口分光获取用户的账号信息,在防火墙获取NAT地址信息,并进行关联,获取完整的用户访问日志,从而获取用户位置信息标识和用户访问行为;依托现有溯源系统的LAC、SAC信息(基站编号),获取移动用户基于物理位置的溯源信息和网络行为信息。本发明可以基于用户特定信息将物理位置信息和用户行为信息关联起来,从而可以为互联网安全事件溯源和应用等提供移动用户的特定信息,包括移动用户位置信息和网络访问信息,使互联网应用可以进行后续的用户行为分析以及精准营销等行为。