-
公开(公告)号:CN104731864B
公开(公告)日:2018-05-29
申请号:CN201510088785.7
申请日:2015-02-26
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC分类号: G06F17/30
摘要: 本发明公开了一种海量非结构化数据的数据存储方法。本方法为:1)设定一时间间隔T,将数据存储集群划分为多个分区,用于将同一时间间隔T内的记录存储到同一分区内;同时将每一分区划分为n个散列区;2)对于每条非结构化记录,提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key;3)根据每条记录的时间t,确定其要存储到的分区,然后根据该记录的关键信息key计算其在该分区中对应的散列区值;4)根据步骤3)的计算结果,将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数,如果记录数大于设定阈值K,则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。
-
公开(公告)号:CN103544261B
公开(公告)日:2016-06-22
申请号:CN201310484663.0
申请日:2013-10-16
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC分类号: G06F17/30
摘要: 本发明涉及一种海量结构化日志数据全局索引管理方法,包括以下步骤:在数据存储子系统中在其内部的各个数据节点中建立关于结构化日志数据的局部数据块及索引信息,在全局索引服务器中建立全局索引表;客户端解析用户输入的查询请求,获取目标局部数据块的信息,客户端确认本地是否有全局索引服务器的地址信息,客户端根据包含有目标局部数据块的数据节点的地址信息向数据存储子系统中的相应数据节点发送远程调用请求;数据存储子系统汇总各数据节点的响应数据,将最终查询结果发送给客户端。本发明该方法有效地增加了系统的查询多样性和查询效率,并且提高了系统的可扩展性。
-
公开(公告)号:CN104731864A
公开(公告)日:2015-06-24
申请号:CN201510088785.7
申请日:2015-02-26
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC分类号: G06F17/30
CPC分类号: G06F17/30628 , G06F17/30132
摘要: 本发明公开了一种海量非结构化数据的数据存储方法。本方法为:1)设定一时间间隔T,将数据存储集群划分为多个分区,用于将同一时间间隔T内的记录存储到同一分区内;同时将每一分区划分为n个散列区;2)对于每条非结构化记录,提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key;3)根据每条记录的时间t,确定其要存储到的分区,然后根据该记录的关键信息key计算其在该分区中对应的散列区值;4)根据步骤3)的计算结果,将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数,如果记录数大于设定阈值K,则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。
-
公开(公告)号:CN103544261A
公开(公告)日:2014-01-29
申请号:CN201310484663.0
申请日:2013-10-16
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC分类号: G06F17/30
CPC分类号: G06F17/30336 , G06F17/30321
摘要: 本发明涉及一种海量结构化日志数据全局索引管理方法,包括以下步骤:在数据存储子系统中在其内部的各个数据节点中建立关于结构化日志数据的局部数据块及索引信息,在全局索引服务器中建立全局索引表;客户端解析用户输入的查询请求,获取目标局部数据块的信息,客户端确认本地是否有全局索引服务器的地址信息,客户端根据包含有目标局部数据块的数据节点的地址信息向数据存储子系统中的相应数据节点发送远程调用请求;数据存储子系统汇总各数据节点的响应数据,将最终查询结果发送给客户端。本发明该方法有效地增加了系统的查询多样性和查询效率,并且提高了系统的可扩展性。
-
公开(公告)号:CN105631050B
公开(公告)日:2019-09-17
申请号:CN201610111430.X
申请日:2016-03-01
申请人: 国家计算机网络与信息安全管理中心
IPC分类号: G06F16/9535 , G06F16/955
摘要: 本发明公开了一种基于规则配置的URL搜索关键词提取的方法,包括生成规则:对需要支持的搜索引擎的搜索URL进行分析,提取搜索URL特征并生成规则;配置规则:配置上述步骤分析到的规则;URL过滤:接收第三方的URL数据并与配置的所述规则进行匹配来过滤收到的所有URL数据;关键词处理:当有第三方的URL命中所述规则,则提取该URL的搜索关键词。本发明可以通过配置规则来快速的实现对多种搜索引擎的搜索URL关键字进行提取,实现海量URL数据的快速处理,从而在信安系统或舆情系统中使用本发明可以提供强有力的支撑。
-
公开(公告)号:CN106102090B
公开(公告)日:2019-07-05
申请号:CN201610421149.6
申请日:2016-06-14
申请人: 国家计算机网络与信息安全管理中心
IPC分类号: H04W24/04
摘要: 本发明公开了一种LTE多接口数据回填方法,其特征在于,所述方法包括:采集S1‑MME或者S10接口消息,获取IMSI参数;采集所述S1‑MME接口消息中的至少一个全球唯一临时UE标识GUTI,并与所述IMSI参数建立UTI~IMSI映射表;获取所述S1‑MME接口消息中的会话参数,根据所述会话参数和所述GUTI~IMSI映射表关联所述S1‑MME接口与S6a接口;以及所述LTE中的至少一个接口根据共有关键参数与所述S1‑MME接口关联,回填数据。本发明公开的技术方案能够提高移动用户上网日志查询和网络安全事件追溯的准确性,而且可以提高身份信息的回填率和准确率,提高数据回填的效率。
-
公开(公告)号:CN106067880B
公开(公告)日:2019-05-31
申请号:CN201610412745.8
申请日:2016-06-13
申请人: 国家计算机网络与信息安全管理中心
摘要: 本发明公开了一种基于4G网络的IP地址的溯源方法,其包括,根据在4G‑LTE网络的S1‑U接口分光采集获取用户的访问信息,在S11接口分光获取用户的账号信息,在防火墙获取NAT地址信息,并进行关联,获取完整的用户访问日志,从而获取用户位置信息标识和用户访问行为;依托现有溯源系统的LAC、SAC信息(基站编号),获取移动用户基于物理位置的溯源信息和网络行为信息。本发明可以基于用户特定信息将物理位置信息和用户行为信息关联起来,从而可以为互联网安全事件溯源和应用等提供移动用户的特定信息,包括移动用户位置信息和网络访问信息,使互联网应用可以进行后续的用户行为分析以及精准营销等行为。
-
公开(公告)号:CN106102090A
公开(公告)日:2016-11-09
申请号:CN201610421149.6
申请日:2016-06-14
申请人: 国家计算机网络与信息安全管理中心
IPC分类号: H04W24/04
CPC分类号: H04W24/04
摘要: 本发明公开了一种LTE多接口数据回填方法,其特征在于,所述方法包括:采集S1‑MME或者S10接口消息,获取IMSI参数;采集所述S1‑MME接口消息中的至少一个全球唯一临时UE标识GUTI,并与所述IMSI参数建立UTI~IMSI映射表;获取所述S1‑MME接口消息中的会话参数,根据所述会话参数和所述GUTI~IMSI映射表关联所述S1‑MME接口与S6a接口;以及所述LTE中的至少一个接口根据共有关键参数与所述S1‑MME接口关联,回填数据。本发明公开的技术方案能够提高移动用户上网日志查询和网络安全事件追溯的准确性,而且可以提高身份信息的回填率和准确率,提高数据回填的效率。
-
公开(公告)号:CN106067880A
公开(公告)日:2016-11-02
申请号:CN201610412745.8
申请日:2016-06-13
申请人: 国家计算机网络与信息安全管理中心
CPC分类号: H04L63/302 , H04L61/609 , H04L2463/146 , H04W24/08
摘要: 本发明公开了一种基于4G网络的IP地址的溯源方法,其包括,根据在4G‑LTE网络的S1‑U接口分光采集获取用户的访问信息,在S11接口分光获取用户的账号信息,在防火墙获取NAT地址信息,并进行关联,获取完整的用户访问日志,从而获取用户位置信息标识和用户访问行为;依托现有溯源系统的LAC、SAC信息(基站编号),获取移动用户基于物理位置的溯源信息和网络行为信息。本发明可以基于用户特定信息将物理位置信息和用户行为信息关联起来,从而可以为互联网安全事件溯源和应用等提供移动用户的特定信息,包括移动用户位置信息和网络访问信息,使互联网应用可以进行后续的用户行为分析以及精准营销等行为。
-
公开(公告)号:CN103677959B
公开(公告)日:2017-05-31
申请号:CN201310690358.7
申请日:2013-12-16
申请人: 国家计算机网络与信息安全管理中心 , 浪潮(北京)电子信息产业有限公司
摘要: 本发明提供一种基于组播的虚拟机集群迁移方法及系统,应用于调度系统领域:上述方法包括以下步骤:当虚拟机进行迁移时,虚拟机集群的迁移请求进入任务池;发送器获取映射表信息并根据任务池任务,调用迁移API,完成虚拟机集群迁移。本发明采用组播的迁移机制和基于综合计算强度的虚拟机放置策略,实现云计算中虚拟机集群迁移,渐少了迁移过程中网络资源的消耗,提高了迁移效率。
-
-
-
-
-
-
-
-
-