-
公开(公告)号:CN112347272B
公开(公告)日:2023-03-10
申请号:CN202010987148.4
申请日:2020-09-18
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/41 , G06F16/432 , G06F16/483
Abstract: 本发明涉及一种基于音视频动态特征的流式匹配方法和装置。该方法通过区间索引树和两级哈希表,实现了快速判断每个任意偏移位置的数据是否有匹配的指纹,并输出匹配的状态,解决了音视频匹配速度慢、数据包随机到来并且长度不确定的问题,实现了实时匹配,提高了检测速度;该方法通过建立区间索引树的方式,实现了指纹特征的动态管理,用户可以根据需要动态增删指纹特征,解决了现有的技术方案中指纹特征固定不变,无法随用户需求发生变化的问题。本发明能够快速的检测音视频数据是否与指纹匹配,极大地提高了指纹匹配效率,能够适应高速大流量网络数据的环境,可以根据用户的需要改变指纹特征,满足了指纹特征可能发生变化的需求。
-
公开(公告)号:CN110557382A
公开(公告)日:2019-12-10
申请号:CN201910729466.8
申请日:2019-08-08
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提供了一种利用域名共现关系的恶意域名检测方法及系统。本发明利用域名请求之间的时间间隔,将DNS请求序列切割成域名共现序列,从而能够有效地将不属于同一网络活动触发的域名请求划分到不同的序列中;同时利用滑动窗口从域名共现序列中提取域名共现对:一方面,滑动窗口的引入成功地消除了由于共现序列长度过长而带来的计算复杂度增加的问题;另一方面,滑动窗口只保留个域名和其窗口内域名的共现关系,而忽略与更远位置的域名关系,能够有效地减少噪声共现关系。本发明能够通过分析域名团簇行为发现可疑的恶意域名团伙,感知恶意域名背后的关联关系,为更深层次研究恶意域名生态系统提供支撑。
-
公开(公告)号:CN105897923B
公开(公告)日:2019-04-30
申请号:CN201610373851.X
申请日:2016-05-31
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种APP安装包网络流量识别方法。本方法为:1)将从网络流量中获取的APP安装包发送给在线识别引擎和离线解析引擎;2)离线解析引擎对收到的APP安装包进行解析,得到每一APP安装包信息;如果APP安装包信息符合设定条件,则将该APP安装包信息及其哈希特征保存到映射库中;3)在线识别引擎实时对接收到的APP安装包进行哈希计算,得到其哈希值hseg,然后根据该哈希值hseg查找所述映射库,如果存在对应的记录,则判断该APP安装包为该条记录标记的网络流量。本方法可以大大提高APP安装包识别效率。
-
公开(公告)号:CN104794158B
公开(公告)日:2018-11-13
申请号:CN201510117236.8
申请日:2015-03-17
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种界标窗口下域名数据重复检测快速索引方法。该方法将界标窗口根据子界标分成多个子窗口,通过稳定性布隆过滤器和字典树维护各子窗口的数据项;针对网络数据流自适应地调整索引策略,在数据较为密集时采用稳定性布隆过滤器,在数据相对稀疏时采用字典树索引策略。在域名数据重复检测的适配方面,本发明提出将域名数据翻转,形成重叠前缀字符串比率较高的数据集,有利于后续字典树的快速匹配和存储容量缩减。本发明能够降低索引维护的空间,提升元素重复检测的效率,并能够扩展到分布式场景下,有效解决网络监控应用中域名数据重复检测的问题,同时,本发明可以扩展到分布式计算场景下,便于计算性能线性提升。
-
公开(公告)号:CN103544258B
公开(公告)日:2016-11-30
申请号:CN201310484503.6
申请日:2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种大数据多区间查询条件下的基数估计方法及装置,包括以下步骤:按照数值属性对大数据预先划分成多个分区;建立树形索引结构,每个分区作为树形索引结构的一个节点;获取待写入树形索引结构的数据源,对支持区间查询条件的数据源进行倒排索引处理;将经过倒排索引处理的数据源写入树形索引结构中的节点内,将数据源的相应部分分别写入数据文件及基数估算器内;根据区间查询条件在树形索引结构中查询满足区间查询条件的节点,得到节点中的基数估算器,对基数估算器进行逻辑处理,得到基数估算值。本发明通过降低数据的计算精度提高基数统计效率,在任意多区间查询条件下,具备较高的查询效率,使用了大数据增量更新技术提高索引数据在线更新效率。
-
公开(公告)号:CN103516550B
公开(公告)日:2016-05-11
申请号:CN201310455753.7
申请日:2013-09-29
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
Abstract: 本发明涉及一种面向大规模包分类规则集的规则冲突检测方法及系统,所述方法包括:步骤1,接收并解析规则;步骤2,将解析后的规则划分为全前缀规则、非全前缀规则和无前缀规则;步骤3,采用源IP-目的IP双层哈希表HSIP-DIP或目的IP哈希表H*-DIP组织全前缀规则集,并对应在HSIP-DIP或H*-DIP中进行规则的增加、删除或查询;步骤4,采用源IP-目的IP双维Tire树TSIP-TDIP组织非全前缀规则集,并在TSIP-TDIP中进行规则的增加、删除或查询;步骤5,采用链表L*-*组织无前缀规则集,并在L*-*中进行规则的增加、删除或查询;步骤6,遍历HSIP-DIP、H*-DIP、TSIP-TDIP和L*-*中的每一个规则作为被检规则,检测与被检规则冲突的所有规则。本发明解决了现在技术中规则冲突算法存在的不足。
-
公开(公告)号:CN104794158A
公开(公告)日:2015-07-22
申请号:CN201510117236.8
申请日:2015-03-17
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种界标窗口下域名数据重复检测快速索引方法。该方法将界标窗口根据子界标分成多个子窗口,通过稳定性布隆过滤器和字典树维护各子窗口的数据项;针对网络数据流自适应地调整索引策略,在数据较为密集时采用稳定性布隆过滤器,在数据相对稀疏时采用字典树索引策略。在域名数据重复检测的适配方面,本发明提出将域名数据翻转,形成重叠前缀字符串比率较高的数据集,有利于后续字典树的快速匹配和存储容量缩减。本发明能够降低索引维护的空间,提升元素重复检测的效率,并能够扩展到分布式场景下,有效解决网络监控应用中域名数据重复检测的问题,同时,本发明可以扩展到分布式计算场景下,便于计算性能线性提升。
-
公开(公告)号:CN103516550A
公开(公告)日:2014-01-15
申请号:CN201310455753.7
申请日:2013-09-29
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
Abstract: 本发明涉及一种面向大规模包分类规则集的规则冲突检测方法及系统,所述方法包括:步骤1,接收并解析规则;步骤2,将解析后的规则划分为全前缀规则、非全前缀规则和无前缀规则;步骤3,采用源IP-目的IP双层哈希表HSIP-DIP或目的IP哈希表H*-DIP组织全前缀规则集,并对应在HSIP-DIP或H*-DIP中进行规则的增加、删除或查询;步骤4,采用源IP-目的IP双维Tire树TSIP-TDIP组织非全前缀规则集,并在TSIP-TDIP中进行规则的增加、删除或查询;步骤5,采用链表L*-*组织无前缀规则集,并在L*-*中进行规则的增加、删除或查询;步骤6,遍历HSIP-DIP、H*-DIP、TSIP-TDIP和L*-*中的每一个规则作为被检规则,检测与被检规则冲突的所有规则。本发明解决了现在技术中规则冲突算法存在的不足。
-
公开(公告)号:CN103544259B
公开(公告)日:2017-01-18
申请号:CN201310484629.3
申请日:2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种分组聚集排序TopK查询处理方法及系统。分组聚集排序TopK查询处理方法包括:接收分组聚集排序TopK查询请求;各分布式数据节点根据所述查询请求,进行本地数据分组聚集,并将自身的分组聚集数据异步传输到集中处理节点;所述集中处理节点采用哈希表结合二叉平衡树的数据结构对各分布式数据节点的分组聚集数据进行数据合并,并采用近似高频项统计算法进行统计,得到聚集排序后的高频项列表;输出所述高频项列表。本发明的分组聚集排序TopK查询处理方法及系统灵活性好,查询效率高,分布式适应性好。
-
公开(公告)号:CN103544258A
公开(公告)日:2014-01-29
申请号:CN201310484503.6
申请日:2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/30864
Abstract: 本发明涉及一种大数据多区间查询条件下的基数估计方法及装置,包括以下步骤:按照数值属性对大数据预先划分成多个分区;建立树形索引结构,每个分区作为树形索引结构的一个节点;获取待写入树形索引结构的数据源,对支持区间查询条件的数据源进行倒排索引处理;将经过倒排索引处理的数据源写入树形索引结构中的节点内,将数据源的相应部分分别写入数据文件及基数估算器内;根据区间查询条件在树形索引结构中查询满足区间查询条件的节点,得到节点中的基数估算器,对基数估算器进行逻辑处理,得到基数估算值。本发明通过降低数据的计算精度提高基数统计效率,在任意多区间查询条件下,具备较高的查询效率,使用了大数据增量更新技术提高索引数据在线更新效率。
-
-
-
-
-
-
-
-
-