python爬虫怎么设置代理ip(python爬虫简单的添加代理进行访问的实现代码)
类别:脚本大全 浏览量:458
时间:2021-10-22 07:41:36 python爬虫怎么设置代理ip
python爬虫简单的添加代理进行访问的实现代码在使用python对网页进行多次快速爬取的时候,访问次数过于频繁,服务器不会考虑user-agent的信息,会直接把你视为爬虫,从而过滤掉,拒绝你的访问,在这种时候就需要设置代理,我们可以给proxies属性设置一个代理的ip地址,代码如下:
|
import requests from lxml import etree url = "https://www.ip.cn" headers = { "user-agent" : "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/70.0.3538.102 safari/537.36 opr/57.0.3098.116" , } pro = { # 'https': 'https://118.122.92.252:37901', #四川省成都市 电信 'https' : 'https://27.17.45.90:43411' , #湖北省武汉市 电信 } try : response = requests.get(url, headers = headers, proxies = pro) html_str = response.content.decode() # print(html_str) html = etree.html(html_str) message = html.xpath( "//li[@class='well']//p/text()" ) ip = html.xpath( "//li[@class='well']//p/code/text()" ) eng = html.xpath( "//li[@class='well']/p/text()" ) print (message[ 0 ] + ip[ 0 ]) print (message[ 1 ] + ip[ 1 ]) print (eng[ 2 ]) except requests.exceptions.proxyerror as e: print ( "当前代理异常" ) except : print ( "当前请求异常" ) |
在上面的代码中,调用requests库,对一个ip地址查询网页进行访问,随后使用lxml库的xpath对网页进行分析提取,返回用户访问此网页时自己的ip地址,如果代理设置成功,则会返回你的信息和ip地址,如下:
如果代理失败则会返回异常,在代码中使用了捕获异常,则会返回设置的提示信息,"当前代理异常",如果不是代理的错误则是"当前请求异常"
ps:免费的代理不是很稳定,在确认代码无误后,如果仍然返回异常,可尝试更换代理ip...
总结
以上所述是小编给大家介绍的python爬虫简单的添加代理进行访问的实现代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对开心学习网网站的支持!
原文链接:https://www.jianshu.com/p/41feb65c7d2a
您可能感兴趣
- python给一个数字md5加密(Python写一个基于MD5的文件监听程序)
- python实现linux服务(Python实现Linux监控的方法)
- python怎么用pandas读取两列数据(python 利用pandas将arff文件转csv文件的方法)
- python自动处理图片(python制作图片缩略图)
- python3正则表达式详解(Python正则表达式和re库知识点总结)
- python解析视频源码(基于python实现高速视频传输程序)
- python 正则表达式语法大全(python re库的正则表达式入门学习教程)
- python序列定义(详解Python3序列赋值、序列解包)
- pythonimage库(Python/Django后端使用PIL Image生成头像缩略图)
- python sql注入怎么避免(Python实现SQL注入检测插件实例代码)
- python弹球游戏编写过程(python实现坦克大战游戏 附详细注释)
- pythonfor循环嵌套if语句(Python基础教程之if判断,while循环,循环嵌套)
- python代码词频分析(python实现词法分析器)
- 如何利用python编写日期的程序(Python读取指定日期邮件的实例)
- python 怎么解析中文(Python中一般处理中文的几种方法)
- python如何获取微信好友(利用Python查看微信共同好友功能的实现代码)
- 春天养佛肚竹,做好这几件事,叶绿根壮寓意好 越养越旺家(春天养佛肚竹做好这几件事)
- 律界衣品最好,时尚圈学识数高,41岁的Amal堪称现实版的傲骨贤妻(时尚圈学识数高)
- 刘智泰确认出演《Good Wife》 担纲男一号(刘智泰确认出演Good)
- 《傲骨之战》剧终 律政女魔头Diane,为什么是大女主天花板(傲骨之战剧终律政女魔头Diane)
- 汉族(汉族的祖先是谁)
- 中国有几个名族(中国有几个民族没列入56个民族)
热门推荐
- js编写一个数组去重的方法(JS实现数组过滤从简单到多条件筛选)
- ReturnUrl带多个参数,返回时只返回一个参数的解决方法
- 怎么用python获取目录(python 获得任意路径下的文件及其根目录的方法)
- thinkphp框架实例(ThinkPHP框架整合微信支付之JSAPI模式图文详解)
- 怎么查询端口是否被占用(如何查看某个端口被谁占用)
- js中什么是宏任务(浅谈JavaScript宏任务和微任务执行顺序)
- 百度地图获取api过程(JavaScript接入百度地图API的方法步骤)
- contenttype类型
- docker 镜像id修改(Docker Alpine镜像时区问题完美解决方案)
- js array的所有方法(js 数组 find,some,filter,reduce区别详解)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9