如何提高爬虫速度

pay123456

如何提高爬虫速度规则名是：科技政策汇详情附件，怎么提高爬虫速度？

yangwenge · 发表于 2018-4-18 17:16:43

可以开多个爬虫窗进行采集，具体参考《如何运行爬虫群》
如果是下载附件不建议使用爬虫群采集。

pay123456 · 发表于 2018-4-18 17:20:30

yangwenge 发表于 2018-4-18 17:16
可以开多个爬虫窗进行采集，具体参考《如何运行爬虫群》
如果是下载附件不建议使用爬虫群采集。

为啥附加不建议用爬虫群呢？

shenzhenuser1 · 发表于 2018-4-18 17:28:14

下载附件只能一个进程，如果多个进程就会导致DownloadDir记录的下载记录乱套
如果还想继续加快速度就只能增加同时工作的电脑数

共 3 个关于本帖的回复最后回复于 2018-4-18 17:28

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页