本帖最后由 umsung 于 2017-10-17 16:59 编辑

我采集第二级网页,我的规则设置没问题,做了定位映射之后,也采集不出之前空白的网页?为什么?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-10-17 14:10

沙发
bowieD 金牌会员 发表于 2017-10-17 14:10:50 | 只看该作者
部分内容没有采集到可能是因为没有勾选关键内容。
不勾关键内容的影响可能是
1,漏采
2,即使抓取规则有错误,也不报错

关键内容是DS打数机用来判断抓取规则有效性的。网页上一定存在的内容,就勾成关键内容,DS抓取网页的时候,判断这些内容在不在,如果不在或者定位不到就会报错。

当网页是动态的ajax内容,很多内容是后加载的,勾上关键内容,DS打数机就会等到这些内容加载上才抓取。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?
  • UMAP的n_neighbors参数有什么作用?
  • HDBSCAN的min_samples和min_cluster_size参

热门用户

GMT+8, 2026-6-26 17:18