采集中一直在重复采集最后一页怎么办？

小蜜蜂a

采集中一直在重复采集最后一页怎么办？

shenzhenuser1 · 发表于 2017-10-13 15:36:38

采集时勾上重复内容判断遇到重复采集时就会自动中断。

1，单搜、集搜时DS打数机选择重复内容的方法

高级→终点标志→重复内容

2，爬虫群采集时选择重复内容判断的方法

爬虫群调度参数中默认就是选择的重复内容中断

共 1 个关于本帖的回复最后回复于 2017-10-13 15:36

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页