python爬虫入门代码(python爬虫基础教程:requests库二代码实例)
类别:脚本大全 浏览量:872
时间:2021-10-20 08:35:47 python爬虫入门代码
python爬虫基础教程:requests库二代码实例get请求
简单使用
|
import requests ''' 想要学习python?python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载! ''' response = requests.get( "https://www.baidu.com/" ) #text返回的是unicode的字符串,可能会出现乱码情况 # print(response.text) #content返回的是字节,需要解码 print (response.content.decode( 'utf-8' )) # print(response.url) #https://www.baidu.com/ # print(response.status_code) #200 # print(response.encoding) #iso-8859-1 |
添加headers和params
|
import requests params = { 'wd' : 'python' } headers = { 'user-agent' : 'mozilla/5.0 (windows nt 6.1; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/64.0.3282.140 safari/537.36' } response = requests.get( "https://www.baidu.com/s" ,params = params,headers = headers) #content返回的是字节,需要解码 with open ( 'baidu.html' , 'w' ,encoding = 'utf-8' ) as f: f.write(response.content.decode( 'utf-8' )) |
post请求
爬去拉钩网职位信息
|
import requests url = "https://www.lagou.com/jobs/positionajax.json?city=%e5%8c%97%e4%ba%ac&needaddtionalresult=false" data = { 'first' : 'true' , 'pn' : 1 , 'kd' : 'python' } headers = { "user-agent" : "mozilla/5.0 (windows nt 6.1; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/64.0.3282.140 safari/537.36" , "referer" : "https://www.lagou.com/jobs/list_python?city=%e5%8c%97%e4%ba%ac&cl=false&fromsearch=true&labelwords=&suginput=" } response = requests.post(url,data = data,headers = headers) # print(response.text) print ( type (response.text)) #<class 'str'> print ( type (response.json())) #<class 'dict'> print (response.json()) #获取为字典的形式 |
使用代理
|
import requests proxy = { 'http' : '115.210.31.236.55:9000' } response = requests.get( "https://www.baidu.com/" ,proxies = proxy) print (response.content.decode( 'utf-8' )) |
session登录
|
# _*_ coding:utf-8 _*_ import requests # 1. 创建session对象,可以保存cookie值 ssion = requests.session() # 2. 处理 headers headers = { 'user-agent' : 'mozilla/5.0 (windows nt 6.1; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/60.0.3112.101 safari/537.36' } # 3. 需要登录的用户名和密码 data = { "email" : "158xxxxxxxx" , "password" : "pythonxxxxxxx" } # 4. 发送附带用户名和密码的请求,并获取登录后的cookie值,保存在ssion里 ssion.post( "http://www.renren.com/plogin.do" , data = data) # 5. ssion包含用户登录后的cookie值,可以直接访问那些登录后才可以访问的页面 response = ssion.get( "http://zhibo.renren.com/news/108" ) # 6. 打印响应内容 print (response.text) |
以上所述是小编给大家介绍的python爬虫基础教程:requests库(二)详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对开心学习网网站的支持!
原文链接:https://blog.csdn.net/fei347795790/article/details/89153257
您可能感兴趣
- python高德地图可视化(利用python和百度地图API实现数据地图标注的方法)
- python多进程创建细节(Python实现多进程的四种方式)
- pyqt5怎么在pycharm中安装(pycharm+PyQt5+python最新开发环境配置踩坑)
- 2021-10-07 00:38:09
- python flask部署实例(Python Flask框架扩展操作示例)
- python列表切片和分片(Python列表切片操作实例总结)
- python怎么查看函数的返回值(python在回调函数中获取返回值的方法)
- python实现sql脚本规范(基于Python的SQL Server数据库实现对象同步轻量级)
- python序列定义(详解Python3序列赋值、序列解包)
- python面向对象使用方法(Python面向对象程序设计之私有属性及私有方法示例)
- python3爬虫实例代码(python3通过selenium爬虫获取到dj商品的实例代码)
- python里import的是什么(python中import与from方法总结推荐)
- 用python3.5.3实现邮件收发(Python使用POP3和SMTP协议收发邮件的示例代码)
- python企业微信录信息(python获取微信企业号打卡数据并生成windows计划任务)
- python拖动选择文件操作(python通过paramiko复制远程文件及文件目录到本地)
- python中什么是迭代器(一篇文章彻底搞懂Python中可迭代Iterable、迭代器Iterator与生成器Generator的概)
- 大众推出了第五代高尔夫GT(大众推出了第五代高尔夫GT)
- 换代在即,现在是抄底 7.5代 高尔夫的最佳时机吗(换代在即现在是抄底)
- 2020年大众7.5代高尔夫R终结特别版 最后的呐喊(2020年大众7.5代高尔夫R终结特别版)
- 七年前的这部剧有毒,全剧只有女主红到发紫,男主至今无人认识(七年前的这部剧有毒)
- 宋轶除了演过于曼丽,原来还演过一个青楼女子(宋轶除了演过于曼丽)
- 赵丽颖第一部当女主的戏,主角配角个个都是实力演员(赵丽颖第一部当女主的戏)
热门推荐
- tomcat正常启动404(Tomcat正常访问localhost报404问题解决)
- dedecms搜索功能怎么设置详细(织梦dedecms文章列表页随机放入广告的方法)
- docker指定基础镜像命令(Docker重命名镜像名称和TAG操作)
- 虚拟主机跟云主机有什么区别(云主机和虚拟主机哪个好?)
- 多个图片拼接python实现(python实现两张图片的像素融合)
- ubuntu20.04开启ssh(详解Ubuntu20.04用Xshell通过SSH连接报错的服务问题)
- 安装了nginx怎么启动(windows下快速安装nginx并配置开机自启动的方法)
- spark sql常用操作(Spark SQL数据加载和保存实例讲解)
- HTML5 audio标签
- linq中延迟执行
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9