您的位置:首页 > 脚本大全 > > 正文

scrapy框架爬取小说的正文内容(Scrapy框架爬取Boss直聘网Python职位信息的源码)

更多 时间:2022-01-25 00:05:34 类别:脚本大全 浏览量:248

scrapy框架爬取小说的正文内容

Scrapy框架爬取Boss直聘网Python职位信息的源码

分析

使用crawlspider结合linkextractor和rule爬取网页信息

linkextractor用于定义链接提取规则,一般使用allow参数即可

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • linkextractor(allow=(), # 使用正则定义提取规则
  •        deny=(), # 排除规则
  •        allow_domains=(), # 限定域名范围
  •        deny_domains=(), # 排除域名范围
  •        restrict_xpaths=(), # 使用xpath定义提取队则
  •        tags=('a', 'area'),
  •        attrs=('href',),
  •        canonicalize=false,
  •        unique=true,
  •        process_value=none,
  •        deny_extensions=none,
  •        restrict_css=(), # 使用css选择器定义提取规则
  •        strip=true):
  • rule用于定义crawlspider的爬取规则,由spider内部自动识别,提交请求、获取响应,交给callback指定的回调方法处理response

    如果指定了callback,参数follow默认为false;如果callback为none,follow默认为true

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • rule(link_extractor, # linkextractor对象,必选参数
  •    callback=none, # 回调方法,可选
  •    cb_kwargs=none,
  •    follow=none, # 是否进行深度爬取,true、false
  •    process_links=none, # 用于处理链接(有些反爬策略是返回假的url)
  •    process_request=identity)
  • 源码

    items.py

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • class bosszhipinitem(scrapy.item):
  •   """boss直聘pytho职位爬虫item"""
  •   # 职位名称
  •   position=scrapy.field()
  •   # 公司名称
  •   company=scrapy.field()
  •   # 薪资
  •   salary=scrapy.field()
  •   # 工作地点
  •   location=scrapy.field()
  •   # 学历要求
  •   education=scrapy.field()
  •   # 工作时间
  •   year=scrapy.field()
  • spiders/bosszhipin_spider.py

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • # !/usr/bin/env python
  • # -*- coding:utf-8 -*-
  • import scrapy
  • from scrapy.spider import crawlspider,rule
  • from scrapy.linkextractors import linkextractor
  • from myscrapy.items import bosszhipinitem
  • class bosszhipinspider(crawlspider):
  •   """
  •   boss直聘python职位爬虫spider
  •     使用crawlspider基类实现
  •   """
  •   name = 'bosszhipin'
  •   allowed_domains=['zhipin.com',]
  •   start_urls=['http://www.zhipin.com/c100010000/h_100010000/?query=python&page=1',]
  •   # 链接提取器对象(规定链接提取规则)
  •   link_extractor=linkextractor(allow=(r'page=\d+'))
  •   # 链接提取规则对象列表
  •   # 自动调用callback指定的方法,去取爬取由link_extractor指定的链接提取规则匹配到的url
  •   # 原理:link_extractor.extract_links(response)返回匹配到的链接
  •   rules = [
  •     rule(link_extractor=link_extractor,callback='parse_page',follow=true),
  •   ]
  •   def parse_page(self,response):
  •     """定义回调方法,用于解析每个response对象"""
  •     job_list=response.xpath('//li[@class="job-list"]//li')
  •     for job in job_list:
  •       position = job.xpath('.//li[@class="info-primary"]//h3[@class="name"]/a/text()')[0].extract()
  •       salary =job.xpath('.//li[@class="info-primary"]//h3[@class="name"]//span/text()')[0].extract()
  •       company =job.xpath('.//li[@class="company-text"]//a/text()')[0].extract()
  •       location =job.xpath('.//li[@class="info-primary"]/p/text()[1]')[0].extract()
  •       year =job.xpath('.//li[@class="info-primary"]/p/text()[2]')[0].extract()
  •       education =job.xpath('.//li[@class="info-primary"]/p/text()[3]')[0].extract()
  •       item=bosszhipinitem()
  •       item['position']=position
  •       item['salary']=salary
  •       item['company']=company
  •       item['location']=location
  •       item['year']=year
  •       item['education']=education
  •       yield item
  • pipelines.py

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • class bosszhipinpipeline(object):
  •   """boss直聘python职位爬虫item pipeline"""
  •   def __init__(self):
  •     self.f=open('data/bosszhipin.json',mode='wb')
  •     self.f.write(b'[')
  •   def process_item(self,item,spider):
  •     data=json.dumps(dict(item),ensure_ascii=false,indent=4)
  •     self.f.write(data.encode('utf-8'))
  •     self.f.write(b',')
  •     return item
  •   def close_spider(self,spider):
  •     self.f.write(b']')
  •     self.f.close()
  • settings.py

  • ?
  • 1
  • 2
  • 3
  • item_pipelines = {
  •   'myscrapy.pipelines.bosszhipinpipeline': 1,
  • }
  • 运行结果

    scrapy框架爬取小说的正文内容(Scrapy框架爬取Boss直聘网Python职位信息的源码)

    总结

    以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接

    原文链接:https://blog.csdn.net/topleeyap/article/details/78907149

    您可能感兴趣