-
公开(公告)号:CN106708926B
公开(公告)日:2020-10-30
申请号:CN201611001399.0
申请日:2016-11-14
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F40/216 , G06F40/289 , G06F16/35
Abstract: 本发明提出一种支持海量长文本数据分类的分析模型的实现方法,属于大数据文本分析技术领域。本发明采用HanLP分词工具中的标准分词并采用改进的CHI算法,一方面有效降低文本分类时每篇文章的词向量空间的维度,降低文本分类计算的时间复杂度,提升算法效率,满足大数据背景下海量长文本分类时的性能需求;同时最大程度低减少由于降低向量空间维度数而造成分类准确性降低。采用TFIDF算法能够有效消除了文本与向量之间的屏障,最后采用朴素贝叶斯分类算法,能够准确的将文本进行较好的训练,实现长文本的准确的分类。本发明能有效地解决在大数据环境下长文本分类的性能指标和准确性指标的矛盾性问题,具有广泛的应用前景。
-
公开(公告)号:CN106708926A
公开(公告)日:2017-05-24
申请号:CN201611001399.0
申请日:2016-11-14
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提出一种支持海量长文本数据分类的分析模型的实现方法,属于大数据文本分析技术领域。本发明采用HanLP分词工具中的标准分词并采用改进的CHI算法,一方面有效降低文本分类时每篇文章的词向量空间的维度,降低文本分类计算的时间复杂度,提升算法效率,满足大数据背景下海量长文本分类时的性能需求;同时最大程度低减少由于降低向量空间维度数而造成分类准确性降低。采用TFIDF算法能够有效消除了文本与向量之间的屏障,最后采用朴素贝叶斯分类算法,能够准确的将文本进行较好的训练,实现长文本的准确的分类。本发明能有效地解决在大数据环境下长文本分类的性能指标和准确性指标的矛盾性问题,具有广泛的应用前景。
-
公开(公告)号:CN108090188A
公开(公告)日:2018-05-29
申请号:CN201711367377.0
申请日:2017-12-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种基于海量数据分析挖掘CDN域名的可靠有效的方法,属于网络信技术领域。该方法首先对初始的URL信息进行URL解码,然后对解码后的URL进行HOST域名提取和正确性验证;对获取的数据进行HOST域名提取,过滤掉脏数据和数值型HOST域名;设置CDN服务IP个数的阈值M和HOST域名对应不重复的服务IP个数的阈值N;对成功提取HOST域名的数据,基于服务IP个数、不同地理位置区域以及是否使用提供CDN服务IP三个维度进行CDN域名分析发现。本发明方法紧密结合了使用CDN服务域名的特性,在分析中利用了多种精准的、有依据的分析方法,保证了分析的可靠性和准确度,为后续的网络安全应用和分析提供坚实的基础数据支持,使得相关领域有更加广泛的应用前景。
-
公开(公告)号:CN108090188B
公开(公告)日:2021-05-07
申请号:CN201711367377.0
申请日:2017-12-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/2458
Abstract: 本发明公开了一种基于海量数据分析挖掘CDN域名的可靠有效的方法,属于网络信技术领域。该方法首先对初始的URL信息进行URL解码,然后对解码后的URL进行HOST域名提取和正确性验证;对获取的数据进行HOST域名提取,过滤掉脏数据和数值型HOST域名;设置CDN服务IP个数的阈值M和HOST域名对应不重复的服务IP个数的阈值N;对成功提取HOST域名的数据,基于服务IP个数、不同地理位置区域以及是否使用提供CDN服务IP三个维度进行CDN域名分析发现。本发明方法紧密结合了使用CDN服务域名的特性,在分析中利用了多种精准的、有依据的分析方法,保证了分析的可靠性和准确度,为后续的网络安全应用和分析提供坚实的基础数据支持,使得相关领域有更加广泛的应用前景。
-
-
-