公开(公告)号：CN107193959B

公开(公告)日：2020-11-27

申请号：CN201710371464.7

申请日：2017-05-24

Applicant: 南京大学

Inventor： 张雷 ,  陈嘉伟 ,  谢璐遥 ,  王崇骏

IPC: G06F16/35

Abstract: 本发明公开一种面向纯文本的企业实体分类方法，包括如下步骤：S1、对采集到的纯文本数据中的企业实体进行类别标注，作为企业实体识别模块的训练集；对采集到的纯文本数据中的企业实体按照行业性质进行类别标注，以作为企业实体分类模块的训练样本集；S2、通过条件随机场模型进行企业实体识别模型训练，并得到企业实体识别模型；S3、对原始训练集的文本数据进行语义向量化构建；S4、将经语义向量化后的有类别标注的训练集数据作为训练参数训练出企业实体分类模型；S5、利用企业实体分类模型对待预测文本中的企业实体进行分类。该方法用得到的语义向量作为实体的特征，减少对人工特征和外部数据的依赖，并且通用性和健壮性得到保证。

公开(公告)号：CN104820680B

公开(公告)日：2018-04-06

申请号：CN201510183709.4

申请日：2015-04-17

Applicant: 南京大学

Inventor： 吴骏 ,  王涛 ,  刘勇 ,  陈嘉伟 ,  吴和生 ,  谢俊元

IPC: G06F17/30

Abstract: 一种通用型分布式爬虫调度系统，包括控制器和爬虫器，控制器包含显示模块和调度模块，其中显示模块用于查看各种任务进展信息、日志以及触发对爬虫器的控制，调度模块包含通信区、维持区、数据保持区、数据缓存区；爬虫器包含爬取模块和调度模块，其中爬取模块实现具体的爬虫功能；调度模块包含通信区、维持区、数据保持区、数据缓存区；调度模块中的通信区之间采用Socket长连接异步通信方式完成互联；针对大数据时代获取数据效率低，存在丢失等问题，提出普适型、通用型的分布式爬虫系统框架，在保证爬取过程高速、有效、准确的同时兼容多样化的爬取策略。

公开(公告)号：CN104820680A

公开(公告)日：2015-08-05

申请号：CN201510183709.4

申请日：2015-04-17

Applicant: 南京大学

Inventor： 吴骏 ,  王涛 ,  刘勇 ,  陈嘉伟 ,  吴和生 ,  谢俊元

IPC: G06F17/30

Abstract: 一种通用型分布式爬虫调度系统，包括控制器和爬虫器，控制器包含显示模块和调度模块，其中显示模块用于查看各种任务进展信息、日志以及触发对爬虫器的控制，调度模块包含通信区、维持区、数据保持区、数据缓存区；爬虫器包含爬取模块和调度模块，其中爬取模块实现具体的爬虫功能；调度模块包含通信区、维持区、数据保持区、数据缓存区；调度模块中的通信区之间采用Socket长连接异步通信方式完成互联；针对大数据时代获取数据效率低，存在丢失等问题，提出普适型、通用型的分布式爬虫系统框架，在保证爬取过程高速、有效、准确的同时兼容多样化的爬取策略。

公开(公告)号：CN107193959A

公开(公告)日：2017-09-22

申请号：CN201710371464.7

申请日：2017-05-24

Applicant: 南京大学

Inventor： 张雷 ,  陈嘉伟 ,  谢璐遥 ,  王崇骏

IPC: G06F17/30

Abstract: 本发明公开一种面向纯文本的企业实体分类方法，包括如下步骤：S1、对采集到的纯文本数据中的企业实体进行类别标注，作为企业实体识别模块的训练集；对采集到的纯文本数据中的企业实体按照行业性质进行类别标注，以作为企业实体分类模块的训练样本集；S2、通过条件随机场模型进行企业实体识别模型训练，并得到企业实体识别模型；S3、对原始训练集的文本数据进行语义向量化构建；S4、将经语义向量化后的有类别标注的训练集数据作为训练参数训练出企业实体分类模型；S5、利用企业实体分类模型对待预测文本中的企业实体进行分类。该方法用得到的语义向量作为实体的特征，减少对人工特征和外部数据的依赖，并且通用性和健壮性得到保证。