发明授权
- 专利标题: 一种新词提取方法及装置
-
申请号: CN202110190709.2申请日: 2021-02-20
-
公开(公告)号: CN112560448B公开(公告)日: 2021-06-22
- 发明人: 蓝建敏 , 池沐霖
- 申请人: 京华信息科技股份有限公司
- 申请人地址: 广东省广州市天河区高普路138号京华信息大楼中座
- 专利权人: 京华信息科技股份有限公司
- 当前专利权人: 京华信息科技股份有限公司
- 当前专利权人地址: 广东省广州市天河区高普路138号京华信息大楼中座
- 代理机构: 广州三环专利商标代理有限公司
- 代理商 郭浩辉; 颜希文
- 主分类号: G06F40/216
- IPC分类号: G06F40/216 ; G06F40/289
摘要:
本发明公开了一种新词提取方法,包括:获取给定语料,并对给定语料进行分词处理,获得若干第一词组;其中,给定语料包括若干篇文章;计算每一第一词组的凝固度和自由度,继而提取凝固度和自由度符合预设阈值条件的若干第一词组,作为第二词组;计算每一第二词组在给定语料中各文章的篇频;其中,篇频为词组在一篇文章中出现的次数;根据各文章的文章影响力对每一第二词组的各篇频进行加权计算,获得各第二词组的加权篇频;根据每一第二词组的加权篇频进行排序,并根据排序结果提取出新词。通过实施本发明实施例能够避免总词频较低的词被遗漏,提高新词提取的准确性。
公开/授权文献
- CN112560448A 一种新词提取方法及装置 公开/授权日:2021-03-26