pythonselenium设置(解决Python selenium get页面很慢时的问题)
类别:脚本大全 浏览量:767
时间:2022-04-01 21:41:50 pythonselenium设置
解决Python selenium get页面很慢时的问题driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。
在执行脚本时,driver.get("url") ,如果当前的url页面内容较多加载特别慢,很费时间,但是我们需要操作的元素已经加载出来,可以将页面加载停掉,不影响后面的脚本执行,解决办法
设置页面加载timeout,get操作: try get except 脚本window.stop(), 使用geckodriver上有效果,
但是在chromedriver上还是会有问题,抛出异常timeout后续脚本不会继续执行
geckodriver执行具体如下:
访问百度贴吧某个获取其帖子总页数:
可以通过两种方式获取,简单的就是直接定位元素共11页
代码用定位尾页获取总页数
|
from selenium import webdriver import re driver = webdriver.firefox() #设定页面加载timeout时长,需要的元素能加载出来就行 driver.set_page_load_timeout( 20 ) driver.set_script_timeout( 20 ) #try去get try : driver.get( "http://tieba.baidu.com/p/5659969529?red_tag=w0852861182" ) except : print ( "加载页面太慢,停止加载,继续下一步操作" ) driver.execute_script( "window.stop()" ) last_page_element = driver.find_element_by_css_selector( "li.l_pager.pager_theme_4.pb_list_pager >a:nth-child(12)" ) #定位到元素尾页元素 #获取尾页页码链接文本 text = last_page_element.get_attribute( "href" ) all_page_num = re.search( "\d+$" ,text).group() # 正则匹配到页码 print ( "当前贴吧贴子总页数为:%s" % all_page_num) |
以上这篇解决python selenium get页面很慢时的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持开心学习网。
原文链接:https://blog.csdn.net/dance117/article/details/80912489
您可能感兴趣
- python class转json(Python对象转换为json的方法步骤)
- python 正则表达式语法大全(python re库的正则表达式入门学习教程)
- python算法图解(python实现kmp算法的实例代码)
- matlab嵌入python代码(python调用matlab的m自定义函数方法)
- python取当前日期(Python实现根据日期获取当天凌晨时间戳的方法示例)
- python如何读取文件(Python从文件中读取数据的方法讲解)
- python 3.10 循环语法(Python3.4学习笔记之常用操作符,条件分支和循环用法示例)
- python plot绘图(python使用Plotly绘图工具绘制气泡图)
- python矩阵怎么生成(python实现矩阵打印)
- pythonai识别算法(Python3调用百度AI识别图片中的文字功能示例测试可用)
- pythonlogging模块教学(详解Python logging调用Logger.info方法的处理过程)
- python 二维数组怎么取第二列(python实现二维数组的对角线遍历)
- python获取网络数据tcp(Python选择网卡发包及接收数据包)
- 2021-10-07 00:38:09
- python flask部署实例(Python Flask框架扩展操作示例)
- python装饰器初学者教程(Python3.5装饰器原理及应用实例详解)
- 《囧妈》为何受抵制 春节七部影片撤档背后的责任与博弈(囧妈为何受抵制)
- 提醒 2019年起河南驾考要开设科目五 官方回应来了(2019年起河南驾考要开设科目五)
- 省 市书法家协会 送万福进万家 活动走进禹州美丽乡村(省市书法家协会)
- 点赞 禹州苌庄正式撤乡建镇 未来发展不可估量(禹州苌庄正式撤乡建镇)
- 它荣获 中国生态魅力镇 称号 就在咱们禹州,一起来看看(中国生态魅力镇)
- 真牛 禹州将建成中等城市(禹州将建成中等城市)
热门推荐
- 企业会怎样筛选简历
- docker部署kafka认证(docker-compose部署zk+kafka+storm集群的实现)
- phpcurl调用本地函数(PHP使用CURL实现下载文件功能示例)
- pyqt5信号槽编辑器(浅谈pyqt5中信号与槽的认识)
- docker安装详细教程linux(linux中docker的安装教程)
- python3简单编程(Python3.5面向对象编程图文与实例详解)
- 云服务器实例和配置(运维必须知道的关于云服务器的十个问题)
- redux实例教程(详解JavaScript状态容器Redux)
- vue监控对象变化(Vue之监听方法案例详解)
- python opencv图像合并(Python3+OpenCV2实现图像的几何变换平移、镜像、缩放、旋转、仿射)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9