一种基于编码转换的多国语分词方法
摘要:
本发明公开一种基于编码转换的多国语分词方法,包括以下步骤:1)数据预处理:输入待分词的数据和语言标签,过滤数据中的多余空格并调整数据为UTF‑8编码格式;2)加载编码转换文件:根据步骤1)中输入的语言标签加载对应语言的编码转换资源文件;3)编码转换:使用步骤2)加载的编码转换资源文件对数据进行编码转换;4)分词:使用标点、空格等符号对编码转换后的数据进行分词处理。本发明提出的基于编码转换的多国语分词方法能够同时满足多国语言的不同编码特征,有针对性的根据不同语言的特征进行分析和编码转换,满足使用一种分词方法能够同时对多国语言分词的需求。
公开/授权文献
0/0