本帖最后由 umsung 于 2017-10-17 17:07 编辑

前提:主题1有连续动作,动作后的目标主题是主题2,主题2也有连续动作,也有抓取内容
问题:请问爬虫运行完主题1之后,是先运行主题2的抓取内容,还是先运行连续动作呀?想实现运行完主题1的动作以后抓取一下内容,然后再做其他连续动作,再抓取。
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-10-17 16:57

沙发
bowieD 金牌会员 发表于 2017-10-17 16:57:53 | 只看该作者
连续动作是先采集完当前规则要抓取的内容 再去做动作,但是为了确保无误,可以把抓取内容和连续动作分开来做。
1,第一级规则做连续动作指向第二级规则;
2,第二级规则做连续动作指向第三级规则;
3,第三极规则再抓取动作之后页面的内容。
如果抓取的内容因为连续动作而不在页面上了,就把抓取内容和连续动作写在一个规则里。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?
  • UMAP的n_neighbors参数有什么作用?
  • HDBSCAN的min_samples和min_cluster_size参

热门用户

GMT+8, 2026-6-26 17:26