python数据存取(python异步存储数据详解)
python数据存取
python异步存储数据详解在Python中,数据存储方式分为同步存储和异步存储。同步写入速度比较慢,而爬虫速度比较快,有可能导致数据保存不完整,一部分数据没有入库。而异步可以将爬虫和写入数据库操作分开执行,互不影响,所以写入速度比较快,能够保证数据的完整性。
异步存储数据库大致看分为以下步骤:
1. 在settings中配置Mysql链接需要的参数(主机地址、用户账号、密码、需要操作的表名、编码格式等)
2. 自定义Pipeline,实现from_settings函数
3. from twisted.enterprise import adbapi 引入连接池模块
4. from pymysql import cursors 引入游标模块
5. 在from_settings中,准备链接数据库参数,创建db_pool连接池,创建返回当前类的对象,传入db_pool
6. 实现初始化函数,在初始化函数中,将db_pool赋值self的属性
7. 实现process_item函数
7.1 query = self.db_pool.runInteraction(执行插入数据操作的函数对象,函数需要参数),并接受执行返回结果
7.2 query.addErrback(错误回调函数,函数需要参数),添加执行sql失败回调的函数,在回调函数中对错误数据进一步处理
8. 实现插入数据操作的函数,准备sql,执行sql
9. 实现错误回调函数,在回调函数中对错误数据进一步处理
下面,我们以天堂图片网为例,大致熟悉一下异步存储:
1. 在存储之前,可以选择手动创建数据库(表名、字段名、字段类型等自己定义),也可以选择代码创建。
2. 存储数据之前还得先拿到数据
|
import scrapy from ..items import ImgItem class IvskySpider(scrapy.Spider): name = 'ivsky' allowed_domains = [ 'ivsky.com' ] start_urls = [ 'http://www.ivsky.com/tupian/ziranfengguang/' ] def parse( self , response): imgs = response.xpath( '//li[@class="il_img"]/a/img' ) for img in imgs: alt = img.xpath( '@alt' ).extract_first('') src = img.xpath( '@src' ).extract_first('') item = ImgItem() item[ 'alt' ] = alt item[ 'src' ] = src yield item |
3. 自定义item,并把数据传进去
|
import scrapy class IvskySpiderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pass class ImgItem(scrapy.Item): alt = scrapy.Field() src = scrapy.Field() |
4. 接下来就是settings中的配置,代码如下(robots协议记得改为False):
|
MYSQL_HOST = '127.0.0.1' MYSQL_USER = 'root' MYSQL_PW = '123456' MYSQL_DB = 'ivskydb' MYSQL_CHARSET = 'utf8' |
5. 再然后自定义pipeline,并把该pipeline在settings中配置(设置优先级):
|
from twisted.enterprise import adbapi from pymysql import cursors class TwistedMysqlPipeline( object ): # 在调用TwistedMysqlPipeline时,第一个调用该函数 @classmethod def from_settings( cls , settings): #准备需要用到的链接mysql的参数 db_prams = dict ( host = settings[ 'MYSQL_HOST' ], user = settings[ 'MYSQL_USER' ], password = settings[ 'MYSQL_PW' ], db = settings[ 'MYSQL_DB' ], port = 3306 , use_unicode = True , charset = settings[ 'MYSQL_CHARSET' ], # 指定使用的游标类型 cursorclass = cursors.DictCursor ) # 创建连接池对象,需要传入两个参数 # 1.使用操作mysql第三方包名 # 2.连接数据库需要的参数 db_pool = adbapi.ConnectionPool( 'pymysql' , * * db_prams) return cls (db_pool) def __init__( self , db_pool): # 将连接池对象赋值self.db_pool属性 self .db_pool = db_pool def process_item( self , item, spider): # 准备sql # 执行sql # 执行一个将item数据写入数据库的动作 # 1.执行操作的函数 # 2.执行函数需要的参数.... query = self .db_pool.runInteraction( self .insert_item, item) # 执行sql出现异常错误时,回调的函数 query.addErrback( self .handle_error, item, spider) return item # 插入数据出现错误时,回调的函数 def handle_error( self , failure, item, spider): print (failure) print (item) # 执行插入数据的函数 def insert_item( self , cursor, item): # 创建sql sql = "INSERT INTO ivs(alt,src)VALUES(%s,%s)" # 执行sql cursor.execute(sql,(item[ 'alt' ], item[ 'src' ])) |
6. pipeline在settings中的配置
|
ITEM_PIPELINES = { # 'ivsky_spider.pipelines.MysqlPipeline': 300, 'ivsky_spider.pipelines.TwistedMysqlPipeline' : 300 , } |
代码到这里就结束了。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持开心学习网。
原文链接:https://blog.csdn.net/qq_42598133/article/details/82667732
- python生成文本文件(python+os根据文件名自动生成文本)
- python实战方法(Python常用特殊方法实例总结)
- python中encode中文自定义编码(详解Python解决抓取内容乱码问题decode和encode解码)
- python中生成字符串序列(python实现字符串加密 生成唯一固定长度字符串)
- python复杂的验证码处理(Python 通过打码平台实现验证码的实现)
- python3循环使用教程(Python3.5常见内置方法参数用法实例详解)
- python中mat文件怎么读(Python第三方库h5py_读取mat文件并显示值的方法)
- python的os模块操作(Python OS模块实例详解)
- python面向对象使用方法(Python面向对象程序设计之私有属性及私有方法示例)
- python怎么装opencv(Python基于opencv实现的简单画板功能示例)
- python 后台django(Python Django给admin添加Action的方法实例详解)
- python创建文件夹(python批量创建指定名称的文件夹)
- python numpy数组拼接(Python快速转换numpy数组中Nan和Inf的方法实例说明)
- python合并多个excel可以刷新吗(python 实现读取一个excel多个sheet表并合并的方法)
- python 3.10 循环语法(Python3.4学习笔记之常用操作符,条件分支和循环用法示例)
- python循环语句嵌套使用(Python分支语句与循环语句应用实例分析)
- 有种尴尬叫朋友圈忘屏蔽,大学生上演社死现场,父母亲自下场吐槽(有种尴尬叫朋友圈忘屏蔽)
- 朋友圈屏蔽你的人,可以直接看淡了(朋友圈屏蔽你的人)
- 金球奖只青睐那些会戴珠宝的女人(金球奖只青睐那些会戴珠宝的女人)
- 浙江省一个县,人口超40万,建县历史超1100年(浙江省一个县人口超40万)
- 五代十国南唐历代国君(五代十国南唐历代国君)
- 飞机引进工程师杨隆 匠人匠心,只争朝夕(飞机引进工程师杨隆)
热门推荐
- 云ecs服务器怎么释放(如何解决阿里云ECS Windows服务器C盘权限被删除导致无法访问)
- 查看docker运行状态命令(使用docker命令不需要敲sudo的操作)
- 树莓派vnc设置失败(树莓派安装宝塔面板后VNC无法登陆的问题说明)
- php中function函数的用法(PHP中quotemeta函数的用法讲解)
- nginx 怎么搭建web服务器(Linux+Nginx+Php架设高性能WEB服务器)
- mysql索引失效怎么办(MySQL选错索引的原因以及解决方案)
- python获取游戏画面信息(python游戏开发之视频转彩色字符动画)
- mysql和utf8哪个好(为什么在MySQL中不建议使用UTF-8)
- sql转字符串函数(sql中的常用的字符串处理函数大全)
- php里的fpm是什么(phpfpm的作用和用法)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9