python爬虫模块教程(Python爬虫之UserAgent的使用实例)
类别:脚本大全 浏览量:1794
时间:2022-01-26 01:02:03 python爬虫模块教程
Python爬虫之UserAgent的使用实例问题: 在Python爬虫的过程中经常要模拟UserAgent, 因此自动生成UserAgent十分有用, 最近看到一个Python库(fake-useragent),可以随机生成各种UserAgent, 在这里记录一下, 留给自己爬虫使用。
安装 pip install fake-useragent
使用案例
基本使用
|
from fake_useragent import UserAgent ua = UserAgent() ua.ie # Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US); ua.msie # Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)' ua[ 'Internet Explorer' ] # Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; InfoPath.2; SV1; .NET CLR 3.3.69573; WOW64; en-US) ua.opera # Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11 ua.chrome # Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2' ua.google # Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13 ua[ 'google chrome' ] # Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11 ua.firefox # Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1 ua.ff # Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1 ua.safari # Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25 # and the best one, random via real world browser usage statistic ua.random |
注意:
fake-useragent 将收集到的数据缓存到temp文件夹, 例如 /tmp, 更新数据:
|
from fake_useragent import UserAgent ua = UserAgent() ua.update() |
有时候会因为网络或者其他问题,出现异常(fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
), 可以禁用服务器缓存(从这里踩了一个坑, 没仔细看文档的锅):
|
from fake_useragent import UserAgent ua = UserAgent(use_cache_server = False ) |
可以自己添加本地数据文件(v0.1.4+)
|
import fake_useragent # I am STRONGLY!!! recommend to use version suffix location = '/home/user/fake_useragent%s.json' % fake_useragent.VERSION ua = fake_useragent.UserAgent(path = location) ua.random |
其他功能用到的也不是很多,详细见文档吧。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接
原文链接:https://blog.csdn.net/anonymous_qsh/article/details/79349068
您可能感兴趣
- python实现的数据结构(Python嵌套式数据结构实例浅析)
- python装饰器语法与应用(python装饰器简介---这一篇也许就够了推荐)
- python中jieba库怎么用(详解Python数据可视化编程 - 词云生成并保存jieba+WordCloud)
- python读取和写入数据excel(Python向excel中写入数据的方法)
- python爬虫音乐代码(详解python selenium 爬取网易云音乐歌单名)
- python批量转换图片格式(利用Python对文件夹下图片数据进行批量改名的代码实例)
- python定时任务脚本(对Python定时任务的启动和停止方法详解)
- python语言案例教程单元测试(Python单元和文档测试实例详解)
- 随意化快排python算法(python快排算法详解)
- python常用的字符串操作方法(Python字符串的常见操作实例小结)
- python微信防封(深入学习微信网址链接解封的防封原理visit_type)
- python创建pdf(Python玩转PDF的各种骚操作)
- python如何遍历一个列表(说说如何遍历Python列表的方法示例)
- python获取企业微信信息(通过shell+python实现企业微信预警)
- pythonrequest包设置编码(解决python3中的requests解析中文页面出现乱码问题)
- opencv轮廓模糊识别(Opencv+Python实现图像运动模糊和高斯模糊的示例)
- 你还没有升职吗 他竟因为几套激励理论,升职了(你还没有升职吗)
- 某知名企业绩效管理体系及薪酬分配体系操作手册(某知名企业绩效管理体系及薪酬分配体系操作手册)
- 职场人改不掉这4个习惯,只会越混越穷,一辈子也翻不了身(职场人改不掉这4个习惯)
- 华为 联想等46家公司笔试面试题,涉及各行各业,建议收藏(联想等46家公司笔试面试题)
- ()
- ()
热门推荐
- 在windows安装docker详细步骤(Docker 部署 Prometheus的安装详细教程)
- 云服务器自建服务器成本比较(云服务器与服务器租用之间的区别在哪里?)
- mysql 删除数据回收空间(浅谈为什么MySQL不建议delete删除数据)
- vue路由有几种实现模式(Vue实现路由过渡动效的4种方法)
- mysql自定义函数怎么设置(MySQL自定义变量?学不废不收费~)
- windows服务器安装宝塔面板(云服务器无法安装宝塔面板及软件解决方案)
- jquery中unbind、bind
- python中的类和对象的定义和使用(Python类的继承、多态及获取对象信息操作详解)
- 使用Visual Studio为WebAPI生成帮助文档
- OpenLDAP docker使用教程(Docker搭建OpenLDAP+phpLDAPadmin统一用户认证的方法)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9