爬虫只采集了第一页，后面只翻页但抓不到数据

稀饭客

本帖最后由稀饭客于 2018-9-30 15:09 编辑

规则：帮贴发帖数据
规则设置了翻页，爬虫只采集到了第一页，后面的只翻页却没有采到数据怎么回事？

Fuller · 发表于 2018-9-30 16:45:51

整理箱中第二个抓取内容“项目”，这个目的是什么？有这个抓取内容，在网页上的抓取范围增加了很多，在这个标题和下面的内容列表之间有很多DOM节点，万一之间插入一个节点，就会影响到内容列表的抓取

Fuller · 发表于 2018-9-30 16:48:52

我把“项目”删除了，DS打数机菜单配置-》延迟抓取，设置了3秒，就抓取的不错。如果还有漏的，可以把自动滚屏也打开

共 2 个关于本帖的回复最后回复于 2018-9-30 16:48

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页