大众点评评论爬取数据不全

我分享出来的“农庄爬取”规则有以下几点问题：
（1）数据爬取不全，一页评论只能爬到两三条

（2）想要爬取用户的等级以及评论星级，做了定位映射但是爬取下来还是没有内容


（3）大众点评才爬到第6页就显示

主题名对吗？我没有搜到这个主题

Fuller 发表于 2018-12-29 17:21
主题名对吗？我没有搜到这个主题

不好意思打错了，主题名是“农庄抓取”，现在规则基本能用了，但是就是爬了一小部分就显示

换了IP，清了缓存，能重新打开爬取页面了，但是爬了一页就又显示这个界面，请问怎么解决啊？？

pipi1519 发表于 2018-12-29 17:50
不好意思打错了，主题名是“农庄抓取”，现在规则基本能用了，但是就是爬了一小部分就显示

换了IP，清了 ...

这个网站反爬很厉害。最新版本的集搜客爬虫能自动清除cookie，换IP可以选择一个vpn客户端，能自动换电脑的IP