为什么设置翻页了抓到第二页就不抓了,规则名是:同程飞天山
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2019-3-8 17:06

沙发
Fuller 管理员 发表于 2019-3-8 16:58:31 | 只看该作者
应该这样测试:



不要勾内容定位,这样点击下一页就能翻页到下一页了,然后选择菜单 规则-》刷新页面结构,再选择菜单 规则-》分析页面,发现第二个抓取内容定位不上

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
Fuller 管理员 发表于 2019-3-8 17:06:33 | 只看该作者
我发现到第二页以后,内容结构变化了

到第二页,没有左边3个箭头指向的节点,都放在P节点下,所以,做规则的时候,用内容映射的方法,将P节点映射给评论内容,相当于抓取范围扩大了一下。
内容映射的方法:
1,选择DOM节点P
2,点击鼠标右键看到弹出菜单
3,选择内容映射-评论内容
另外,可以做上定位标志映射,提高规则的适应性

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?
  • UMAP的n_neighbors参数有什么作用?
  • HDBSCAN的min_samples和min_cluster_size参

热门用户

GMT+8, 2026-6-26 04:16