自建免费 PYTHON 爬虫代理 IP 池 | 珊瑚贝

大家好,我还是小四毛,不是崔老师!!!!崔老师在隔壁,哈哈哈。

写了一个从网上抓取代理 IP,然后构建代理 IP 池的脚本,放在了这里:https://github.com/xiaosimao/IP_POOL

以后应该还会有很多的改动, 欢迎有兴趣的同学 star,以便及时可以收到改动的通知。

目前是从以下几个网站获取 IP:66ip,xicidaili,data5u,proxydb。

具体的使用方法文档在 readme.md 中, 欢迎交流。

如果你需要从别的网站获得, 那么可以在配置文件中进行相关的配置即可, 如果实在不想自己写,也可以提 issue 给我,我会看情况更新到代码中。

一般情况下,只要配置一下配置项就可以从新的网站获取 IP,最大限度减少写代码的时间。

免费的 ip,质量不敢保证,目前测试的目标网站为百度和 https://httpbin.org/get, 还是获得了一些通过测试的 IP,下面是截图。

来源:https://cuiqingcai.com/4816.html

微信公众号
手机浏览(小程序)

Warning: get_headers(): SSL operation failed with code 1. OpenSSL Error messages: error:14090086:SSL routines:ssl3_get_server_certificate:certificate verify failed in /mydata/web/wwwshanhubei/web/wp-content/themes/shanhuke/single.php on line 57

Warning: get_headers(): Failed to enable crypto in /mydata/web/wwwshanhubei/web/wp-content/themes/shanhuke/single.php on line 57

Warning: get_headers(https://static.shanhubei.com/qrcode/qrcode_viewid_11523.jpg): failed to open stream: operation failed in /mydata/web/wwwshanhubei/web/wp-content/themes/shanhuke/single.php on line 57
0
分享到:
没有账号? 忘记密码?