python爬取在线评论(Python爬虫实现爬取百度百科词条功能实例)
类别:脚本大全 浏览量:1355
时间:2021-10-21 07:52:28 python爬取在线评论
Python爬虫实现爬取百度百科词条功能实例本文实例讲述了python爬虫实现爬取百度百科词条功能。分享给大家供大家参考,具体如下:
爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。爬虫从一个或若干初始网页的url开始,获得初始网页上的url,在抓取网页的过程中,不断从当前页面上抽取新的url放入队列,直到满足系统的一定停止条件。爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的url队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页url,并重复上述过程,直到达到系统的某一条件时停止。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索。常见的爬虫框架有scrapy等。
自定义爬虫程序一般包含:url管理器、网页下载器、网页解析器、输出处理器。
以下我写了一个爬取百度百科词条的实例。
爬虫主程序入口
|
from crawler_test.html_downloader import urldownloader from crawler_test.html_outer import htmlouter from crawler_test.html_parser import htmlparser from crawler_test.url_manager import urlmanager # 爬虫主程序入口 class maincrawler(): def __init__( self ): # 初始值,实例化四大处理器:url管理器,下载器,解析器,输出器 self .urls = urlmanager() self .downloader = urldownloader() self .parser = htmlparser() self .outer = htmlouter() # 开始爬虫方法 def start_craw( self , main_url): print ( '爬虫开始...' ) count = 1 self .urls.add_new_url(main_url) while self .urls.has_new_url(): try : new_url = self .urls.get_new_url() print ( '爬虫%d,%s' % (count, new_url)) html_cont = self .downloader.down_load(new_url) new_urls, new_data = self .parser.parse(new_url, html_cont) # 将解析出的url放入url管理器,解析出的数据放入输出器中 self .urls.add_new_urls(new_urls) self .outer.conllect_data(new_data) if count > = 10 : # 控制爬取的数量 break count + = 1 except : print ( '爬虫失败一条' ) self .outer.output() print ( '爬虫结束。' ) if __name__ = = '__main__' : main_url = 'https://baike.baidu.com/item/python/407313' mc = maincrawler() mc.start_craw(main_url) |
url管理器
|
# url管理器 class urlmanager(): def __init__( self ): self .new_urls = set () # 待爬取 self .old_urls = set () # 已爬取 # 添加一个新的url def add_new_url( self , url): if url is none: return elif url not in self .new_urls and url not in self .old_urls: self .new_urls.add(url) # 批量添加url def add_new_urls( self , urls): if urls is none or len (urls) = = 0 : return else : for url in urls: self .add_new_url(url) # 判断是否有url def has_new_url( self ): return len ( self .new_urls) ! = 0 # 从待爬取的集合中获取一个url def get_new_url( self ): new_url = self .new_urls.pop() self .old_urls.add(new_url) return new_url |
网页下载器
|
from urllib import request # 网页下载器 class urldownloader(): def down_load( self , url): if url is none: return none else : rt = request.request(url = url, method = 'get' ) # 发get请求 with request.urlopen(rt) as rp: # 打开网页 if rp.status ! = 200 : return none else : return rp.read() # 读取网页内容 |
网页解析器
|
import re from urllib import parse from bs4 import beautifulsoup # 网页解析器,使用beautifulsoup class htmlparser(): # 每个词条中,可以有多个超链接 # main_url指url公共部分,如“https://baike.baidu.com/” def _get_new_url( self , main_url, soup): # baike.baidu.com/ # <a target="_blank" href="/item/%e8%ae%a1%e7%ae%97%e6%9c%ba%e7%a8%8b%e5%ba%8f%e8%ae%be%e8%ae%a1%e8%af%ad%e8%a8%80" rel="external nofollow" >计算机程序设计语言</a> new_urls = set () # 解析出main_url之后的url部分 child_urls = soup.find_all( 'a' , href = re. compile (r '/item/(\%\w{2})+' )) for child_url in child_urls: new_url = child_url[ 'href' ] # 再拼接成完整的url full_url = parse.urljoin(main_url, new_url) new_urls.add(full_url) return new_urls # 每个词条中,只有一个描述内容,解析出数据(词条,内容) def _get_new_data( self , main_url, soup): new_datas = {} new_datas[ 'url' ] = main_url # <dd class="lemmawgt-lemmatitle-title"><h1>计算机程序设计语言</h1>... new_datas[ 'title' ] = soup.find( 'dd' , class_ = 'lemmawgt-lemmatitle-title' ).find( 'h1' ).get_text() # class="lemma-summary" label-module="lemmasummary"... new_datas[ 'content' ] = soup.find( 'li' , attrs = { 'label-module' : 'lemmasummary' }, class_ = 'lemma-summary' ).get_text() return new_datas # 解析出url和数据(词条,内容) def parse( self , main_url, html_cont): if main_url is none or html_cont is none: return soup = beautifulsoup(html_cont, 'lxml' , from_encoding = 'utf-8' ) new_url = self ._get_new_url(main_url, soup) new_data = self ._get_new_data(main_url, soup) return new_url, new_data |
输出处理器
|
# 输出器 class htmlouter(): def __init__( self ): self .datas = [] # 先收集数据 def conllect_data( self , data): if data is none: return self .datas.append(data) return self .datas # 输出为html def output( self , file = 'output_html.html' ): with open ( file , 'w' , encoding = 'utf-8' ) as fh: fh.write( '<html>' ) fh.write( '<head>' ) fh.write( '<meta charset="utf-8"></meta>' ) fh.write( '<title>爬虫数据结果</title>' ) fh.write( '</head>' ) fh.write( '<body>' ) fh.write( '<table style="border-collapse:collapse; border:1px solid gray; width:80%; word-break:break-all; margin:20px auto;">' ) fh.write( '<tr>' ) fh.write( '<th style="border:1px solid black; width:35%;">url</th>' ) fh.write( '<th style="border:1px solid black; width:15%;">词条</th>' ) fh.write( '<th style="border:1px solid black; width:50%;">内容</th>' ) fh.write( '</tr>' ) for data in self .datas: fh.write( '<tr>' ) fh.write( '<td style="border:1px solid black">{0}</td>' . format (data[ 'url' ])) fh.write( '<td style="border:1px solid black">{0}</td>' . format (data[ 'title' ])) fh.write( '<td style="border:1px solid black">{0}</td>' . format (data[ 'content' ])) fh.write( '</tr>' ) fh.write( '</table>' ) fh.write( '</body>' ) fh.write( '</html>' ) |
效果(部分):
希望本文所述对大家python程序设计有所帮助。
原文链接:https://www.cnblogs.com/wcwnina/p/8619084.html
您可能感兴趣
- python中if条件语句如何使用(对python中if语句的真假判断实例详解)
- python pandas读取数据库表(Python3.5 Pandas模块之DataFrame用法实例分析)
- python设置按钮(Python按钮的响应事件详解)
- python class转json(Python对象转换为json的方法步骤)
- python拖动选择文件操作(python通过paramiko复制远程文件及文件目录到本地)
- python整型可以用什么表示(实例介绍Python中整型)
- python最简单实例(Python文件打开方式实例详解a、a+、r+、w+区别)
- python程序运行步骤(详解python运行三种方式)
- python微信防封(深入学习微信网址链接解封的防封原理visit_type)
- python3字符串格式化怎么操作(python3实现字符串操作的实例代码)
- python中的变量与变量类型(Python变量类型知识点总结)
- python虚拟环境的使用方法(详解python配置虚拟环境)
- 怎么用python实现链表(Python3实现的判断回文链表算法示例)
- python对于gbk处理(Python 2/3下处理cjk编码的zip文件的方法)
- pythonnumpy求行列式的值(Python numpy中矩阵的基本用法汇总)
- python函数使用方法高级用法(Python骚操作之动态定义函数)
- 省委书记出席的交流会,十位县委书记同场发言,代表公文材料的高水平(省委书记出席的交流会)
- 《刘老根3》热播,去世15年的她却再次被 伤害(去世15年的她却再次被)
- 十二星座爱情支配欲指数(十二星座爱情支配欲指数)
- 虐待儿童是发泄支配欲的愚蠢行为(虐待儿童是发泄支配欲的愚蠢行为)
- 你或许不知道你隐藏的支配欲望(你或许不知道你隐藏的支配欲望)
- 把宽体丰田86卖了,换成7.5代高尔夫GTI玩起姿态与性能并存的改装(把宽体丰田86卖了)
热门推荐
- 将docker中的镜像打包教程(本地使用docker打包部署镜像的方法)
- python3.x base64怎么加密解密(python3.x实现base64加密和解密)
- mysql导出数据的方法
- xampp安装后启动apache弹出对话框(XAMPP下使用顶级域名绑定虚拟主机的配置方法和示例)
- 菲律宾云服务器价格(菲律宾云服务器适合用来做什么?)
- 如何搭建个人网盘dedecms(linux和windows主机实现dedecms伪静态)
- mysql建立分区表指令(MySQL高级特性——数据表分区的概念及机制详解)
- 阿里云服务器清除密码(阿里云服务器忘记密码怎么办?阿里云ECS密码重置图文教程)
- django settings配置(Django重置migrations文件的方法步骤)
- css弹出框特效(利用CSS实现酷炫的下拉框特效)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9