爬取数据时，明明规则对了，会有漏抓列表页，比如，假设一共有20个公司，只抓到5个

cwg1002 发表于 2017-3-20 20:26
"另外，采集到的网址数量少的原因不是因为网址长被过滤了，而是因为规则不合适，有些没有采集到"规则我就 ...

你定义的抓取内容 url 没有勾下级线索，生成不了第二级线索

Fuller 发表于 2017-3-20 22:46
你定义的抓取内容 url 没有勾下级线索，生成不了第二级线索

我用的  阿士伯  有勾选

cwg1002 发表于 2017-3-20 22:57
我用的  阿士伯  有勾选

这个规则有问题，只采集到两条网址


这个网站太奇葩了，网站地址放在一个A/@href中，一会这个A直接放在LI下，一会还隔着一层strong。所以，要自定义xpath

1. .//*[@class='pp_2web']//a[position()=1]/@href

复制代码

用法参看自定义xpath的相关教程

Fuller 发表于 2017-3-20 23:17
这个规则有问题，只采集到两条网址

用了Xpath就好多了但是第一页中间的地址和联系人不好弄，第一页Xpath你咋看。总体来说软件基本功能比较好。难道是这个网太变态了？

cwg1002 发表于 2017-3-21 21:14
用了Xpath就好多了但是第一页中间的地址和联系人不好弄，第一页Xpath你咋看。总体来说软件基本功能比较好 ...

在同一个主题名下定义多个规则，分别针对不同的网页结构