发明公开
CN105956070A 一种整合重复记录的方法及系统
无效 - 驳回
- 专利标题: 一种整合重复记录的方法及系统
- 专利标题(英): Method and system for integrating repetitive records
-
申请号: CN201610277820.4申请日: 2016-04-28
-
公开(公告)号: CN105956070A公开(公告)日: 2016-09-21
- 发明人: 鄢坤 , 易君 , 黄俊
- 申请人: 优品财富管理有限公司
- 申请人地址: 湖北省武汉市东湖高新区光谷大道77号光谷金融港泰康大楼17层优品财富
- 专利权人: 优品财富管理有限公司
- 当前专利权人: 优品财富管理有限公司
- 当前专利权人地址: 湖北省武汉市东湖高新区光谷大道77号光谷金融港泰康大楼17层优品财富
- 代理机构: 北京卓唐知识产权代理有限公司
- 代理商 龚洁
- 主分类号: G06F17/30
- IPC分类号: G06F17/30
摘要:
本发明提供了一种整合重复记录的方法及系统,所述方法包括以下步骤:S1:抓取目标网络的网页内容,并将从所述网页内容中提取的标题和正文存储于数据库中,同时将当前提取的标题和正文作为当前的目标标题和目标正文;S2:基于所述数据库中的数据对所述目标标题进行重复度查询,根据该查询结果选择执行步骤S3;S3:基于所述数据库对所述目标正文进行重复度查询,并基于该查询结果选择整合所述网页内容在所述数据库中的存储。本发明能够快速实现对抓取信息进行查重,并可以消除重复记录。