公开(公告)号：CN111581970A

公开(公告)日：2020-08-25

申请号：CN202010396183.9

申请日：2020-05-12

申请人： 厦门市美亚柏科信息股份有限公司

发明人： 陈思萌 ,  何星 ,  赵建强 ,  陈诚 ,  邓叶勋 ,  郑伟斌 ,  刘晓芳 ,  张辉极 ,  杜新胜

IPC分类号： G06F40/289 ,  G06F40/30 ,  G06F40/126 ,  G06F40/216 ,  G06N3/04

摘要： 本发明提出了一种网络语境的文本识别方法、装置及存储介质，该方法包括：基于文本长窗口构建风格语义模型，基于文本短窗口构建偏旁级语义模型；使用网络语境的语料库基于风格语义模型向量模型和偏旁级语义模型训练得到网络语境的中文词向量模型；使用所述网络语境的中文词向量模型对输入的网络语境的文本进行识别并输出识别结果。本发明在分词时使用两个不同窗口，长窗口用于提取网络化风格的语义信息，文本短窗口用于提取不同细粒度的语义特征，在训练阶段将二者结合，获得更加准确的词向量表达，以提高网络语境的文本识别率，本发明优化了目标函数，使得模型训练速度加快，在训练时，还建立了部首转义的方法，从而提高了文本的识别率。

公开(公告)号：CN111143560A

公开(公告)日：2020-05-12

申请号：CN201911366859.3

申请日：2019-12-26

申请人： 厦门市美亚柏科信息股份有限公司

发明人： 邓叶勋 ,  赵建强 ,  黄剑 ,  陈诚 ,  刘晓芳 ,  郑伟斌

IPC分类号： G06F16/35 ,  G06N3/04

摘要： 本发明涉及一种短文本分类方法、终端设备及存储介质，该方法中包括：S1：采集多个文本数据并进行特征提取后组成训练集；S2：分别构建基于卷积神经网络和循环神经网络的多个分类模型，计算每个分类模型对训练集中各样本的输出概率；S3：构建三个模型集；S4：根据KS值筛选三个模型集中的两个合并为融合模型库I；S5：设定融合模型库I的样本预测值计算公式；S6：设定损失函数loss；S7：通过训练集对融合模型库I进行迭代训练，通过调整权重参数w1和w2，使得损失函数loss的值最小；S8：通过训练后的融合模型库I对待分类文本数据进行分类。本发明针对短文本数据稀疏、噪声大等问题，通过模型融合策略，有效提高模型应对新数据领域的适应能力。

公开(公告)号：CN111090992A

公开(公告)日：2020-05-01

申请号：CN201911289718.6

申请日：2019-12-13

申请人： 厦门市美亚柏科信息股份有限公司

发明人： 刘晓芳 ,  昝景园 ,  赵建强 ,  张辉极

IPC分类号： G06F40/242 ,  G06F40/289 ,  G06F16/33 ,  G06F21/60

摘要： 本发明公开了一种文本预处理方法和装置，通过构造特征信息表，通过特征信息表对用户自定义分词字典进行更新，通过加密算法对特征信息表和更新后的用户自定义分词字典进行加密；输入文本数据，通过特征信息表对文本数据进行匹配，保留文本数据在特征信息表中出现的特征信息，对文本数据中的非法序列信息进行删除得到新的字符串；以及对加密后的用户自定义分词字典进行解密和加载，并通过用户自定义分词字典对新的字符串进行分词。通过特征信息表可以自动更新用户自定义分词字典特征信息词频，减化人工繁琐的配置过程。对用户自定义词典进行加密，修改Jieba中字典读取加载方式，实现对加密用户自定义分词字典的读取，增强用户自定义分词字典的安全性。