-
公开(公告)号：CN104794158B
公开(公告)日：2018-11-13
申请号：CN201510117236.8
申请日：2015-03-17
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种界标窗口下域名数据重复检测快速索引方法。该方法将界标窗口根据子界标分成多个子窗口，通过稳定性布隆过滤器和字典树维护各子窗口的数据项；针对网络数据流自适应地调整索引策略，在数据较为密集时采用稳定性布隆过滤器，在数据相对稀疏时采用字典树索引策略。在域名数据重复检测的适配方面，本发明提出将域名数据翻转，形成重叠前缀字符串比率较高的数据集，有利于后续字典树的快速匹配和存储容量缩减。本发明能够降低索引维护的空间，提升元素重复检测的效率，并能够扩展到分布式场景下，有效解决网络监控应用中域名数据重复检测的问题，同时，本发明可以扩展到分布式计算场景下，便于计算性能线性提升。
-
公开(公告)号：CN104731864B
公开(公告)日：2018-05-29
申请号：CN201510088785.7
申请日：2015-02-26
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明公开了一种海量非结构化数据的数据存储方法。本方法为：1)设定一时间间隔T，将数据存储集群划分为多个分区，用于将同一时间间隔T内的记录存储到同一分区内；同时将每一分区划分为n个散列区；2)对于每条非结构化记录，提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key；3)根据每条记录的时间t，确定其要存储到的分区，然后根据该记录的关键信息key计算其在该分区中对应的散列区值；4)根据步骤3)的计算结果，将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数，如果记录数大于设定阈值K，则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。
-
公开(公告)号：CN103544258B
公开(公告)日：2016-11-30
申请号：CN201310484503.6
申请日：2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种大数据多区间查询条件下的基数估计方法及装置，包括以下步骤：按照数值属性对大数据预先划分成多个分区；建立树形索引结构，每个分区作为树形索引结构的一个节点；获取待写入树形索引结构的数据源，对支持区间查询条件的数据源进行倒排索引处理；将经过倒排索引处理的数据源写入树形索引结构中的节点内，将数据源的相应部分分别写入数据文件及基数估算器内；根据区间查询条件在树形索引结构中查询满足区间查询条件的节点，得到节点中的基数估算器，对基数估算器进行逻辑处理，得到基数估算值。本发明通过降低数据的计算精度提高基数统计效率，在任意多区间查询条件下，具备较高的查询效率，使用了大数据增量更新技术提高索引数据在线更新效率。
-
公开(公告)号：CN103544261B
公开(公告)日：2016-06-22
申请号：CN201310484663.0
申请日：2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种海量结构化日志数据全局索引管理方法，包括以下步骤：在数据存储子系统中在其内部的各个数据节点中建立关于结构化日志数据的局部数据块及索引信息，在全局索引服务器中建立全局索引表；客户端解析用户输入的查询请求，获取目标局部数据块的信息，客户端确认本地是否有全局索引服务器的地址信息，客户端根据包含有目标局部数据块的数据节点的地址信息向数据存储子系统中的相应数据节点发送远程调用请求；数据存储子系统汇总各数据节点的响应数据，将最终查询结果发送给客户端。本发明该方法有效地增加了系统的查询多样性和查询效率，并且提高了系统的可扩展性。
-
公开(公告)号：CN103544259B
公开(公告)日：2017-01-18
申请号：CN201310484629.3
申请日：2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种分组聚集排序TopK查询处理方法及系统。分组聚集排序TopK查询处理方法包括：接收分组聚集排序TopK查询请求；各分布式数据节点根据所述查询请求，进行本地数据分组聚集，并将自身的分组聚集数据异步传输到集中处理节点；所述集中处理节点采用哈希表结合二叉平衡树的数据结构对各分布式数据节点的分组聚集数据进行数据合并，并采用近似高频项统计算法进行统计，得到聚集排序后的高频项列表；输出所述高频项列表。本发明的分组聚集排序TopK查询处理方法及系统灵活性好，查询效率高，分布式适应性好。
-
Patent Agency Ranking
公开(公告)号：CN103544258A
公开(公告)日：2014-01-29
申请号：CN201310484503.6
申请日：2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/30864
Abstract: 本发明涉及一种大数据多区间查询条件下的基数估计方法及装置，包括以下步骤：按照数值属性对大数据预先划分成多个分区；建立树形索引结构，每个分区作为树形索引结构的一个节点；获取待写入树形索引结构的数据源，对支持区间查询条件的数据源进行倒排索引处理；将经过倒排索引处理的数据源写入树形索引结构中的节点内，将数据源的相应部分分别写入数据文件及基数估算器内；根据区间查询条件在树形索引结构中查询满足区间查询条件的节点，得到节点中的基数估算器，对基数估算器进行逻辑处理，得到基数估算值。本发明通过降低数据的计算精度提高基数统计效率，在任意多区间查询条件下，具备较高的查询效率，使用了大数据增量更新技术提高索引数据在线更新效率。
-
公开(公告)号：CN104731864A
公开(公告)日：2015-06-24
申请号：CN201510088785.7
申请日：2015-02-26
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/30628 , G06F17/30132
Abstract: 本发明公开了一种海量非结构化数据的数据存储方法。本方法为：1)设定一时间间隔T，将数据存储集群划分为多个分区，用于将同一时间间隔T内的记录存储到同一分区内；同时将每一分区划分为n个散列区；2)对于每条非结构化记录，提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key；3)根据每条记录的时间t，确定其要存储到的分区，然后根据该记录的关键信息key计算其在该分区中对应的散列区值；4)根据步骤3)的计算结果，将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数，如果记录数大于设定阈值K，则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。
-
公开(公告)号：CN103544261A
公开(公告)日：2014-01-29
申请号：CN201310484663.0
申请日：2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/30336 , G06F17/30321
Abstract: 本发明涉及一种海量结构化日志数据全局索引管理方法，包括以下步骤：在数据存储子系统中在其内部的各个数据节点中建立关于结构化日志数据的局部数据块及索引信息，在全局索引服务器中建立全局索引表；客户端解析用户输入的查询请求，获取目标局部数据块的信息，客户端确认本地是否有全局索引服务器的地址信息，客户端根据包含有目标局部数据块的数据节点的地址信息向数据存储子系统中的相应数据节点发送远程调用请求；数据存储子系统汇总各数据节点的响应数据，将最终查询结果发送给客户端。本发明该方法有效地增加了系统的查询多样性和查询效率，并且提高了系统的可扩展性。
-
公开(公告)号：CN103544259A
公开(公告)日：2014-01-29
申请号：CN201310484629.3
申请日：2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/3053
Abstract: 本发明涉及一种分组聚集排序TopK查询处理方法及系统。分组聚集排序TopK查询处理方法包括：接收分组聚集排序TopK查询请求；各分布式数据节点根据所述查询请求，进行本地数据分组聚集，并将自身的分组聚集数据异步传输到集中处理节点；所述集中处理节点采用哈希表结合二叉平衡树的数据结构对各分布式数据节点的分组聚集数据进行数据合并，并采用近似高频项统计算法进行统计，得到聚集排序后的高频项列表；输出所述高频项列表。本发明的分组聚集排序TopK查询处理方法及系统灵活性好，查询效率高，分布式适应性好。
-
公开(公告)号：CN112241365B
公开(公告)日：2022-09-30
申请号：CN202010722288.9
申请日：2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象，通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象，由文件对象和文件块对象构成Namenode内存元数据；基于构建的元数据，构造与生产环境相符的Namenode负载状态，并进行Namenode内部扩展和集群扩展，实现RPC性能优化。本发明能够高速构建Namenode元数据，为快速搭建接近生产环境的测试集群提供了帮助，全局锁的拆分能够提升RPC性能，多个Namenode协作管理集群且同时对外提供服务，提供了更高的读写吞吐量。
-
-
-
-
-
-
-
-
-
Search Results
98
records
(took 0.072 seconds)
