一种对文本序列进行分词的方法、装置和电子设备

    公开(公告)号:CN108038103A

    公开(公告)日:2018-05-15

    申请号:CN201711364208.1

    申请日:2017-12-18

    Abstract: 本发明公开了一种文本的分词方法、装置和电子设备,所述方法包括:确定与所述文本序列对应的概率矩阵,所述概率矩阵记录有所述文本序列中的每个字符与预设的每个标注字符相匹配的概率值,所述标注字符用于对所述文本序列进行分词;确定与所述概率矩阵对应的转移矩阵,所述转移矩阵记录了所述每个标注字符之间的转移概率;根据所述概率矩阵和转移矩阵,对所述文本序列进行分词。本发明可以避免在中文分词过程中,存在分词特征抽取受限以及领域适应性较差的问题。

Patent Agency Ranking