-
公开(公告)号：CN112148872A
公开(公告)日：2020-12-29
申请号：CN202011043378.1
申请日：2020-09-28
IPC分类号： G06F16/34 , G06F16/332 , G06F16/33 , G06F40/289 , G06K9/62
摘要： 本公开实施例公开了一种自然对话主题分析方法、装置、电子设备、及存储介质，方法包括：获取多个自然对话文本，对任一自然对话文本进行切和分词处理得到分词序列；将根据所述多个自然对话文本得到的分词序列集合进行聚合分组分成多个分词序列子集合；对任一分词序列子集合提取核心关键词；对任一分词序列子集合中任一分词序列，分别计算任意两个核心关键词词序字符串的莱文斯坦距离以获取主题纯度；根据所述分词序列集合所包含的各分词序列子集合的主题纯度和对应的关键词集合，进行分析结果输出。本实施例的技术方案能够直接根据批量或海量的自然对话分析主题，无需人工参与，能提高主题分析效率。
-
公开(公告)号：CN112148872B
公开(公告)日：2024-04-02
申请号：CN202011043378.1
申请日：2020-09-28
IPC分类号： G06F16/34 , G06F16/332 , G06F16/33 , G06F40/289 , G06F18/22
摘要： 本公开实施例公开了一种自然对话主题分析方法、装置、电子设备、及存储介质，方法包括：获取多个自然对话文本，对任一自然对话文本进行切和分词处理得到分词序列；将根据所述多个自然对话文本得到的分词序列集合进行聚合分组分成多个分词序列子集合；对任一分词序列子集合提取核心关键词；对任一分词序列子集合中任一分词序列，分别计算任意两个核心关键词词序字符串的莱文斯坦距离以获取主题纯度；根据所述分词序列集合所包含的各分词序列子集合的主题纯度和对应的关键词集合，进行分析结果输出。本实施例的技术方案能够直接根据批量或海量的自然对话分析主题，无需人工参与，能提高主题分析效率。
-
公开(公告)号：CN114090775A
公开(公告)日：2022-02-25
申请号：CN202111376161.7
申请日：2021-11-19
发明人： 周小敏 , 应鸿晖 , 林国池 , 石易 , 麦丽娟 , 莫凡 , 林佳涛 , 李高翔 , 黄福鸿 , 卓采标 , 廖淑敏 , 杨慧强 , 宋宜昌 , 黄正国 , 周毅 , 吴冠标 , 李新 , 蒋维 , 曹勇 , 高欢
IPC分类号： G06F16/35 , G06F16/33 , G06F16/951 , G06F16/957
摘要： 本发明属于网页文本处理领域，具体涉及一种基于BERT算法的网页有害文本识别方法及系统，所述识别方法包括：步骤1：使用网络爬虫爬取网页原始内容，得到初始文本；步骤2：基于HTML协议对初始文本进行文本整理，得到待识别文本集合；步骤3：将待识别文本集合输入到基于BERT中文预训练模型训练得到的有害信息识别模型中进行有害文本识别，得到识别结果；步骤4：对识别结果进行人工验证，并基于得到的异常识别样本更新有害信息识别模型。上述方法不仅准确提取有效的网页文本，利用已有的有害文本判断模型实现网页文本内容识别，同时还通过人工校正对有害文本判断模型进行训练更新，进一步提升有害文本判断模型的准确性。
-
公开(公告)号：CN114143290B
公开(公告)日：2024-01-30
申请号：CN202111407941.3
申请日：2021-11-19
发明人： 周小敏 , 应鸿晖 , 林国池 , 石易 , 麦丽娟 , 莫凡 , 林佳涛 , 黄福鸿 , 李高翔 , 卓采标 , 杨慧强 , 廖淑敏 , 宋宜昌 , 周毅 , 黄正国 , 吴冠标 , 李新 , 蒋维 , 曹勇 , 高欢
IPC分类号： H04L61/5061 , H04L61/5007 , H04L61/5053 , H04L67/56 , G06F16/951
摘要： 本发明属于IP代理技术领域，具体涉及一种多网站并行爬取的IP代理池的构建系统和方法，所述构建系统包括：IP验证模块，用于对初始IP集合内的代理IP进行代理可用性验证，并将可用的代理IP置入有效队列中，得到有效IP集合；IP标记模块，用于对有效IP集合内的代理IP进行逐一标记，得到具有标记信息的标记IP集合；IP组合模块，用于获取若干待爬取网站信息并为每个待爬取网站构建对应的网站代理IP队列，还用于基于待爬取网站信息在标记IP集合中挑取标记信息与其匹配的代理IP，并将挑取的代理IP置入与其匹配的网站代理IP队列中。上述构建系统构建了多网站并行爬取代理池，实现了多网站并行爬取，进而提高代理IP的利用率以及爬取成功率。
-
公开(公告)号：CN114143290A
公开(公告)日：2022-03-04
申请号：CN202111407941.3
申请日：2021-11-19
发明人： 周小敏 , 应鸿晖 , 林国池 , 石易 , 麦丽娟 , 莫凡 , 林佳涛 , 黄福鸿 , 李高翔 , 卓采标 , 杨慧强 , 廖淑敏 , 宋宜昌 , 周毅 , 黄正国 , 吴冠标 , 李新 , 蒋维 , 曹勇 , 高欢
IPC分类号： H04L61/5061 , H04L61/5007 , H04L61/5053 , H04L67/56 , G06F16/951
摘要： 本发明属于IP代理技术领域，具体涉及一种多网站并行爬取的IP代理池的构建系统和方法，所述构建系统包括：IP验证模块，用于对初始IP集合内的代理IP进行代理可用性验证，并将可用的代理IP置入有效队列中，得到有效IP集合；IP标记模块，用于对有效IP集合内的代理IP进行逐一标记，得到具有标记信息的标记IP集合；IP组合模块，用于获取若干待爬取网站信息并为每个待爬取网站构建对应的网站代理IP队列，还用于基于待爬取网站信息在标记IP集合中挑取标记信息与其匹配的代理IP，并将挑取的代理IP置入与其匹配的网站代理IP队列中。上述构建系统构建了多网站并行爬取代理池，实现了多网站并行爬取，进而提高代理IP的利用率以及爬取成功率。
-
-
-
-
搜索结果
5 条记录 (耗时 0.081 秒)
