公开(公告)号：CN106528535B

公开(公告)日：2019-04-26

申请号：CN201611001398.6

申请日：2016-11-14

Applicant: 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 王宇 ,  徐晓燕 ,  周渊 ,  刘庆良 ,  郑彩娟 ,  王海平 ,  黄成 ,  周游 ,  陈婷婷

IPC: G06F17/27

Abstract: 本发明提供了一种基于编码和机器学习的多语种识别方法，是计算机对自然语言的处理技术。本方法分别通过机器学习单元和编码识别单元对文本进行语种识别，编码识别时还统计各语种的单词量，当机器学习单元的识别结果在编码识别单元的判定区间内，且二者识别的语言一致时，输出单一识别语言，当编码识别单元识别到多种语言时，进行混合语言规则判断，若第二语言在文本中的单词量比例达到设定比例，则判定文本为混合语言。本发明对长文本可先作随机采样再判定，以提高识别效率。本发明能够准确、高效地实现中文简繁体、日、法、英等97种语言的语种识别，同时支持混合语种文本识别，在海量数据分析以及舆情监控中具有广泛的应用前景。

公开(公告)号：CN106484815A

公开(公告)日：2017-03-08

申请号：CN201610849786.3

申请日：2016-09-26

Applicant: 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 王宇 ,  徐晓燕 ,  周渊 ,  刘庆良 ,  郑彩娟 ,  王振宇 ,  黄成 ,  李斌斌 ,  周游 ,  刘斌斌

IPC: G06F17/30

CPC classification number: G06F17/30442 ,  G06F17/30321 ,  G06F17/30427

Abstract: 本发明提供了一种基于海量数据类SQL检索场景的自动识别优化方法，属于海量数据统计分析领域。本发明通过五方面来进行优化：引入lucene作为可选存储介质；对每个数据文件的检索字段增加bloomfilter索引(bf索引)；对不同检索场景的划分及最优存储介质的选择；在进行lucene检索场景时，将类SQL语句转换为lucene语句；对lucene存储介质和bf索引添加有效性的会话级设置。在检索时，首先判定bf索引会话级的有效性，通过bf索引缩小待检索数据文件列表，再判定lucene存储介质的会话级有效性。本发明有效降低了海量数据检索时集群的资源消耗，大幅度提升了海量数据的检索性能。

公开(公告)号：CN105871705A

公开(公告)日：2016-08-17

申请号：CN201610397804.9

申请日：2016-06-07

Applicant: 北京赛思信安技术股份有限公司

Inventor： 李斌斌 ,  郑彩娟 ,  刘利宏 ,  王振宇

IPC: H04L12/58

CPC classification number: H04L51/043 ,  H04L51/08 ,  H04L51/12

Abstract: 本发明公开了一种海量电子邮件分析处理过程中的电子邮件内容重复判断的方法，其特征在于，包括以下几个步骤：步骤一：分解电子邮件内容；步骤二：对电子邮件内容中各个部分进行重复判断；步骤三：对电子邮件内容进行重新组织；本发明可以对海量的电子邮件进行内容重复的判断，有效的降低了海量电子邮件处理过程中因电子邮件处理内容处理带来的资源开销。