-
公开(公告)号:CN103544261A
公开(公告)日:2014-01-29
申请号:CN201310484663.0
申请日:2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/30336 , G06F17/30321
Abstract: 本发明涉及一种海量结构化日志数据全局索引管理方法,包括以下步骤:在数据存储子系统中在其内部的各个数据节点中建立关于结构化日志数据的局部数据块及索引信息,在全局索引服务器中建立全局索引表;客户端解析用户输入的查询请求,获取目标局部数据块的信息,客户端确认本地是否有全局索引服务器的地址信息,客户端根据包含有目标局部数据块的数据节点的地址信息向数据存储子系统中的相应数据节点发送远程调用请求;数据存储子系统汇总各数据节点的响应数据,将最终查询结果发送给客户端。本发明该方法有效地增加了系统的查询多样性和查询效率,并且提高了系统的可扩展性。
-
公开(公告)号:CN103544259A
公开(公告)日:2014-01-29
申请号:CN201310484629.3
申请日:2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/3053
Abstract: 本发明涉及一种分组聚集排序TopK查询处理方法及系统。分组聚集排序TopK查询处理方法包括:接收分组聚集排序TopK查询请求;各分布式数据节点根据所述查询请求,进行本地数据分组聚集,并将自身的分组聚集数据异步传输到集中处理节点;所述集中处理节点采用哈希表结合二叉平衡树的数据结构对各分布式数据节点的分组聚集数据进行数据合并,并采用近似高频项统计算法进行统计,得到聚集排序后的高频项列表;输出所述高频项列表。本发明的分组聚集排序TopK查询处理方法及系统灵活性好,查询效率高,分布式适应性好。
-
公开(公告)号:CN103544258B
公开(公告)日:2016-11-30
申请号:CN201310484503.6
申请日:2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种大数据多区间查询条件下的基数估计方法及装置,包括以下步骤:按照数值属性对大数据预先划分成多个分区;建立树形索引结构,每个分区作为树形索引结构的一个节点;获取待写入树形索引结构的数据源,对支持区间查询条件的数据源进行倒排索引处理;将经过倒排索引处理的数据源写入树形索引结构中的节点内,将数据源的相应部分分别写入数据文件及基数估算器内;根据区间查询条件在树形索引结构中查询满足区间查询条件的节点,得到节点中的基数估算器,对基数估算器进行逻辑处理,得到基数估算值。本发明通过降低数据的计算精度提高基数统计效率,在任意多区间查询条件下,具备较高的查询效率,使用了大数据增量更新技术提高索引数据在线更新效率。
-
公开(公告)号:CN103544261B
公开(公告)日:2016-06-22
申请号:CN201310484663.0
申请日:2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种海量结构化日志数据全局索引管理方法,包括以下步骤:在数据存储子系统中在其内部的各个数据节点中建立关于结构化日志数据的局部数据块及索引信息,在全局索引服务器中建立全局索引表;客户端解析用户输入的查询请求,获取目标局部数据块的信息,客户端确认本地是否有全局索引服务器的地址信息,客户端根据包含有目标局部数据块的数据节点的地址信息向数据存储子系统中的相应数据节点发送远程调用请求;数据存储子系统汇总各数据节点的响应数据,将最终查询结果发送给客户端。本发明该方法有效地增加了系统的查询多样性和查询效率,并且提高了系统的可扩展性。
-
公开(公告)号:CN103544259B
公开(公告)日:2017-01-18
申请号:CN201310484629.3
申请日:2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种分组聚集排序TopK查询处理方法及系统。分组聚集排序TopK查询处理方法包括:接收分组聚集排序TopK查询请求;各分布式数据节点根据所述查询请求,进行本地数据分组聚集,并将自身的分组聚集数据异步传输到集中处理节点;所述集中处理节点采用哈希表结合二叉平衡树的数据结构对各分布式数据节点的分组聚集数据进行数据合并,并采用近似高频项统计算法进行统计,得到聚集排序后的高频项列表;输出所述高频项列表。本发明的分组聚集排序TopK查询处理方法及系统灵活性好,查询效率高,分布式适应性好。
-
公开(公告)号:CN103544258A
公开(公告)日:2014-01-29
申请号:CN201310484503.6
申请日:2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/30864
Abstract: 本发明涉及一种大数据多区间查询条件下的基数估计方法及装置,包括以下步骤:按照数值属性对大数据预先划分成多个分区;建立树形索引结构,每个分区作为树形索引结构的一个节点;获取待写入树形索引结构的数据源,对支持区间查询条件的数据源进行倒排索引处理;将经过倒排索引处理的数据源写入树形索引结构中的节点内,将数据源的相应部分分别写入数据文件及基数估算器内;根据区间查询条件在树形索引结构中查询满足区间查询条件的节点,得到节点中的基数估算器,对基数估算器进行逻辑处理,得到基数估算值。本发明通过降低数据的计算精度提高基数统计效率,在任意多区间查询条件下,具备较高的查询效率,使用了大数据增量更新技术提高索引数据在线更新效率。
-
公开(公告)号:CN103678007B
公开(公告)日:2017-03-08
申请号:CN201310684827.4
申请日:2013-12-13
Applicant: 浪潮(北京)电子信息产业有限公司 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种软件的批量部署方法及系统,应用于软件部署领域:上述方法包括以下步骤:puppet客户端周期性地向puppet服务端发送文件同步请求;所述puppet服务端接收所述文件同步请求后,向所述puppet客户端反馈文件同步响应消息;所述puppet客户端根据所述文件同步响应消息,完成批量部署。本发明的基于puppet工具的软件批量部署方法,实现了云计算环境下静默化软件”的自动批量安装,安装过程记录日志、断点可续;同时,软件的配置文件也自动由puppet管理,对于云计算中软件的批量部署工作有很大的意义。
-
公开(公告)号:CN105024993A
公开(公告)日:2015-11-04
申请号:CN201510272122.0
申请日:2015-05-25
Applicant: 上海南邮实业有限公司 , 国家计算机网络与信息安全管理中心
IPC: H04L29/06
CPC classification number: H04L63/20
Abstract: 本发明提供了一种基于向量运算的协议比对方法,用于网络协议识别。本方法包括:对已知协议的数据包进行特征向量提取,构建协议特征向量库;提取待判断的未知协议数据流的特征向量;通过距离算法,计算未知协议数据流的特征向量,与协议特征向量库中各特征向量的相似度,并从中选取相似度最大的协议作为比对结果;设定阈值对比较结果进行判断,以使得比较结果更加正确,当未知协议为新协议时,将对应的特征向量加入协议特征向量库。本发明具有统一的协议对比处理流程,具有较好的扩展性,同时可以自动识别出新的协议类型,可以方便、快速、准确地进行协议识别。
-
公开(公告)号:CN104468381A
公开(公告)日:2015-03-25
申请号:CN201410717284.6
申请日:2014-12-01
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: H04L12/801
Abstract: 本发明公开了一种多域流规则匹配的实现方法,涉及高速流分类技术领域。本发明首先根据IP报文数据流的五元组定义对每个元组都建立一个规则表,然后建立一个哈希快速流表,将匹配规则的所有信息添加到规则表中;再进行IP报文数据流匹配,如果找到,则执行相应的动作,否则查找规则表,进行掩码匹配查询。本发明通过改进查询速度快的前缀扩展Trie树,牺牲部分内存空间,采用数据压缩和哈希表相结合的方式,在保证查询速度的前提下,又不会因为大容量的规则库而发生内存爆炸。
-
公开(公告)号:CN103678007A
公开(公告)日:2014-03-26
申请号:CN201310684827.4
申请日:2013-12-13
Applicant: 浪潮(北京)电子信息产业有限公司 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种软件的批量部署方法及系统,应用于软件部署领域:上述方法包括以下步骤:puppet客户端周期性地向puppet服务端发送文件同步请求;所述puppet服务端接收所述文件同步请求后,向所述puppet客户端反馈文件同步响应消息;所述puppet客户端根据所述文件同步响应消息,完成批量部署。本发明的基于puppet工具的软件批量部署方法,实现了云计算环境下“静默化软件”的自动批量安装,安装过程记录日志、断点可续;同时,软件的配置文件也自动由puppet管理,对于云计算中软件的批量部署工作有很大的意义。
-
-
-
-
-
-
-
-
-