【集微库】微博采集工具箱使用常见问题

L_PBF33 发表于 2026-3-17 19:24
好的，我只有最后一个问题，最多可以采集多少页？

对页数没有限制，看网页上有多少页。据我们的观察，对超话网页来说，几十页之后，网页上的内容大多是重复的。你可以手工翻一翻微博网页，查证一下。

爬取微博主页，有很多重复的数据，请问这个怎么解决呀？

爬取微博主页博文，有很多重复的数据，请问这个怎么解决呀？

lunana12138 发表于 2026-3-30 16:46
爬取微博主页博文，有很多重复的数据，请问这个怎么解决呀？

博主主页采集工具，有数据清洗，应该没有重复，你把原始数据包发出来看看，或者加用户群472442022，发给群里的管理员。