- 专利标题: 基于MD5值比对的Xpath自动提取方法
-
申请号: CN202011524745.X申请日: 2020-12-22
-
公开(公告)号: CN112579862B公开(公告)日: 2022-06-14
- 发明人: 曾燕清 , 林旭云 , 林智华 , 陈晓峰 , 吴小菁
- 申请人: 福建江夏学院
- 申请人地址: 福建省福州市闽侯县福州地区大学新校区溪源宫路2号
- 专利权人: 福建江夏学院
- 当前专利权人: 福建江夏学院
- 当前专利权人地址: 福建省福州市闽侯县福州地区大学新校区溪源宫路2号
- 代理机构: 福州元创专利商标代理有限公司
- 代理商 丘鸿超; 蔡学俊
- 主分类号: G06F16/951
- IPC分类号: G06F16/951
摘要:
本发明提出一种基于MD5值比对的Xpath自动提取方法,其在指定列表页后自动提取列表页中的链接信息,并在自动提取的链接信息中由用户选择若干个页面参与Xpath自动生成;所述自动生成的过程为:对参与自动生成过程的页面进行解析,得到Xpath和内容的键值对生成Xpath对应的MD5值,综合比较页面的Xpath、内容值和MD5值,生成最终详情页所需数据项的Xpath。该算法能够有效辅助用户提取Xpath。通过该算法流程也可自适应页面结构变化、将该算法融合至爬虫设计中可降低爬虫维护成本、提高工作效率,且生成Xpath过程可供没有语言基础的用户使用。
公开/授权文献
- CN112579862A 基于MD5值比对的Xpath自动提取方法 公开/授权日:2021-03-30