怎么爬取网站的不同网页的内容

集搜客怎样爬取同一网站上不同网页上的内容？这些网页结构类似。

参考教程：《怎么在同一个主题名下建立多个规则》

xandy 发表于 2017-3-29 14:10
参考教程：《怎么在同一个主题名下建立多个规则》

那如果爬取的网页数量很多呢，类似于爬职位招聘信息的那种？谢谢！

南桥几经秋 发表于 2017-3-29 14:38
那如果爬取的网页数量很多呢，类似于爬职位招聘信息的那种？谢谢！

首先，你应该想办法用一个抓取规则就能抓取所有网页，这样是最省事的。把其他网址加入这个规则的方法是在会员中心里面做。参看《如何管理规则的线索》

你先用一个规则做实验，如果遇到DS打数机报告说超时，那就是这个规则的适应性不够，再调整。

如果有失败的，按照这个教程《加载和分析失败线索》，就能看到在哪个字段失败了，想办法微调规则，比如定位偏好，让适应性更高。

如果遇到解决不了的问题，就发帖问

Fuller 发表于 2017-3-29 14:52
如果有失败的，按照这个教程《加载和分析失败线索》，就能看到在哪个字段失败了，想办法微调规则，比如定位 ...

好，谢谢