爬虫防止封ip（为什么免费ip代理不适用于分布式爬虫）

爬虫程序目前已经成为了最为主流的数据获取方式，而爬虫程序往往是与代理IP一同出现的，有代理IP的保障爬虫才能够全力运转爬取数据。如今各种代理IP服务商层出不穷，许多人选择使用免费的代理IP来进行爬虫工作，但在使用分布式爬虫时往往会遇到超时、被封禁等等问题，主要原因有以下几点：

一般小型爬虫任务不需要代理IP就可以完成，如果工作量较大，可以用免费代理IP完成。但是分布式爬虫工作量非常大，需要很高的工作效率，而免费代理是达不到要求的。

自由代理缓慢、不稳定且效率低下。如果普通小型公司不追求效率，可以慢慢爬。如果分布式爬虫使用免费代理IP工作，是达不到分布式爬虫的效果。

免费代理IP多为透明代理IP和通用代理IP。如果选择高匿代理IP，IP量足以支持分布式爬虫，如果选择透明代理IP和不可见代理IP，很容易被目标网站识别，因为两者都会暴露用户在使用代理IP发送请求。