公开(公告)号：CN111626318A

公开(公告)日：2020-09-04

申请号：CN201911063979.6

申请日：2019-11-04

申请人： 中科软科技股份有限公司

发明人： 赵全军 ,  吴敬征 ,  段旭 ,  陈宏江 ,  伊克拉木·伊力哈木 ,  刘立力

IPC分类号： G06K9/62 ,  G06F40/205

摘要： 本发明公开了一种基于深度学习的多语言有害信息特征智能挖掘方法，标注各语种各类别有害和无害信息文本；将每个语种的每个类别的词使用RNSW方法选出候选词并建立独热码编码；将样品数据输入CNN神经网络模型中进行训练，得到每个词属于该语种该有害类别的得分，作为权重；使用遗传算法对机器学习选出的有害信息特征进行筛选，形成最终的有害信息特征和权重。本发明一是提出了一种语种无关的文本降维表示的RNSW方法，有效降低了模型训练的参数数量，加快了训练速度，提高了模型识别的准确率；二是采用深度学习的方法实现了有害信息特征的智能挖掘，并通过遗传算法对有害信息特征筛选，使得有害信息识别的可解释性更好。

公开(公告)号：CN110263170A

公开(公告)日：2019-09-20

申请号：CN201910544064.0

申请日：2019-06-21

申请人： 中科软科技股份有限公司

发明人： 赵全军 ,  高岩 ,  王志辉 ,  伊克拉木·伊力哈木 ,  陈宏江 ,  冀玉鑫

IPC分类号： G06F16/35 ,  G06F16/33

摘要： 本发明公开了一种文本类别的自动标注方法，该方法包括采集各个语种的文本以建立多语种文本类别数据库；基于多语种文本类别数据库获得相关词数据，对相关词数据进行训练生成多语种文本分类模型；检索多语种文本类别数据库，判断待标注文本是否与多语种文本类别数据库中的数据匹配，若是，则将该待标注文本作为候选文本；基于多语种文本分类模型识别候选文本的类别，将候选文本的类别作为待标注文本的类别并标注到待标注文本上；其中，相关词数据是通过对多语种文本类别数据库中的数据按语种和类别进行标注得到的。本发明还公开了一种文本类别的自动标注系统。通过本发明的这种自动标注方法可以快速处理大量的文本数据。