python 操作html(Python HTML解析模块HTMLParser用法分析爬虫工具)
python 操作html
Python HTML解析模块HTMLParser用法分析爬虫工具本文实例讲述了python html解析模块htmlparser用法。分享给大家供大家参考,具体如下:
简介
先简略介绍一下。实际上,htmlparser是python用来解析html的内置模块。它可以分析出html里面的标签、数据等等,是一种处理html的简便途径。htmlparser采用的是一种事件驱动的模式,当htmlparser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的,都是htmlparser的成员函数。当我们使用时,就从htmlparser派生出新的类,然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括:
(1)handle_startendtag 处理开始标签和结束标签(即单标签)
(2)handle_starttag 处理开始标签,比如<xx>
(3)handle_endtag 处理结束标签,比如</xx>
(4)handle_charref 处理特殊字符串,就是以&#开头的,一般是内码表示的字符
(5)handle_entityref 处理一些特殊字符,以&开头的,比如
(6)handle_data 处理数据,就是<xx>data</xx>中间的那些数据
(7)handle_comment 处理注释
(8)handle_decl 处理<!开头的,比如<!doctype html public "-//w3c//dtd html 4.01 transitional//en"
(9)handle_pi 处理形如<?instruction>的东西
实例
ok,废话少说,直接上手,来一个简单的爬虫实例——抓取贴吧图片。
|
from html.parser import htmlparser from urllib import request class myhtmlparser(htmlparser): # 创建html解析类 def __init__( self ): htmlparser.__init__( self ) self .gifs_urls = [] # 创建列表,保存gif self .jpgs_urls = [] # 创建列表,保存jpg # 重写htmlparser中的内置方法 def handle_starttag( self , tags, attrs): # 处理起始标记 if tags = = 'img' : # 处理图片 for attr in attrs: for t in attr: if 'gif' in t and 'https' in t: self .gifs_urls.append(t) # 添加到gif列表 elif 'jpg' in t and 'https' in t: self .jpgs_urls.append(t) # 添加到jpg列表 else : pass # 自定义的方法 def get_gifs( self ): # 返回gif列表 return self .gifs_urls def get_jpgs( self ): # 返回jpg列表 return self .jpgs_urls # 自定义的方法,获取页面 def gethtml( self ,url): req = request.request(url,method = 'get' ) html = request.urlopen(req,timeout = 30 ) return html.read() # 自定义的方法,批量下载图片 def downimgs( self ,img_urls,n = 10 ,path = 'image/' ): count = 1 for url in img_urls: request.urlretrieve(url = url,filename = '{0}{1}{2}' . format (path,count, '.jpg' )) count = count + 1 if count = = n + 1 : print ( '共下载%d张图片' % (n)) return if __name__ = = '__main__' : url = 'http://tieba.baidu.com/p/2256306796' htmlparser = myhtmlparser() html = htmlparser.gethtml(url) # print(html) htmlparser.feed( str (html)) #开始解析html,自动调用htmlparser中的内置方法 htmlparser.downimgs(htmlparser.get_jpgs()) |
希望本文所述对大家python程序设计有所帮助。
原文链接:https://www.cnblogs.com/wcwnina/p/8082761.html
- python高德地图可视化(利用python和百度地图API实现数据地图标注的方法)
- python实现两个变量的交换(在Python 中同一个类两个函数间变量的调用方法)
- 如何用python处理excel表格(零基础使用Python读写处理Excel表格的方法)
- python一组数字求和(Python3数字求和的实例)
- python自动解数独教学(Python判断有效的数独算法示例)
- python中的数据类型和数字类型(Python数据类型之Number数字操作实例详解)
- python怎么自动生成报告(python根据文章标题内容自动生成摘要的实例)
- python操作pandas(详解Python学习之安装pandas)
- python itchat库介绍(Python利用itchat库向好友或者公众号发消息的实例)
- python定义dataframe(对python dataframe逻辑取值的方法详解)
- python串口怎么使用(使用Python3+PyQT5+Pyserial 实现简单的串口工具方法)
- python动态数组原理(Python实现的旋转数组功能算法示例)
- python 的常用工具(Python静态类型检查新工具之pyright 使用指南)
- python处理时间序列常用方法汇总(python整小时 整天时间戳获取算法示例)
- 用python制作一个简单的小程序(Python简单基础小程序的实例代码)
- python使用什么函数定义匿名函数(Python匿名函数及应用示例)
- 赏读 八月再见,九月你好(赏读八月再见九月你好)
- 散文 八月再见,九月,我在风中等你(散文八月再见九月)
- 8月再见 9月你好(8月再见)
- 魔兽世界 设计师爆料,原始版本并无PVP,跨阵营属于返璞归真(魔兽世界设计师爆料)
- 吐槽完《弧光大作战》之后,我们和设计师聊了聊魔兽首款手游的立项初衷和未来(吐槽完弧光大作战之后)
- 魔兽争霸3自定义战役少年杰雷 2(魔兽争霸3自定义战役少年杰雷)
热门推荐
- python基于django的博客系统(利用django+wechat-python-sdk 创建微信服务器接入的方法)
- Js如何判断浏览器类型和版本
- python指定路径创建txt文件(python根据txt文本批量创建文件夹)
- pythonopencv自定义阈值算法(理想高通滤波实现Python opencv示例)
- 为什么asp.net网站第一次加载慢
- 介绍几个Visual Studio 调试技巧
- css before和after(CSS中灵活使用:before和:after)
- http404解决方案(http403禁止访问怎么解决?http403禁止访问错误原因汇总)
- Uncaught RangeError: Maximum call stack size exceeded的常见原因
- 微信小程序签名怎么操作(微信小程序实现简单手写签名组件的方法实例)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9