您的位置：首页 > 脚本大全 > > 正文

python编辑redis（python使用pipeline批量读写redis的方法）

更多 时间：2022-03-29 03:07:27 类别：脚本大全 浏览量：289

python编辑redis

python使用pipeline批量读写redis的方法

用了很久的redis了。随着业务的要求越来越高。对redis的读写速度要求也越来越高。正好最近有个需求（需要在秒级取值1000+的数据），如果对于传统的单词取值，循环取值，消耗实在是大，有小伙伴可能考虑到多线程，但这并不是最好的解决方案，这里考虑到了redis特有的功能pipeline管道功能。

下面就更大家演示一下pipeline在python环境下的使用情况。

1、插入数据

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
    		•
  • >>> import redis
  •  
  • >>> conn = redis.Redis(host='192.168.8.176',port=6379)
  •  
  • >>> pipe = conn.pipeline()
  •  
  • >>> pipe.hset("hash_key","leizhu900516",8)
  • Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>
  •  
  • >>> pipe.hset("hash_key","chenhuachao",9)
  • Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>
  •  
  • >>> pipe.hset("hash_key","wanger",10)
  • Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>
  •  
  • >>> pipe.execute()
  • [1L, 1L, 1L]
  • >>>

    • 2、批量读取数据

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
    		•
  • >>> pipe.hget("hash_key","leizhu900516")
  • Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>
  •  
  • >>> pipe.hget("hash_key","chenhuachao")
  • Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>
  •  
  • >>> pipe.hget("hash_key","wanger")
  • Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>
  •  
  • >>> result = pipe.execute()
  •  
  • >>> print result
  • ['8', '9', '10']  #有序的列表
  • >>>
    		•

    • 总结：redis的pipeline就是这么简单，实际生产环境，根据需要去编写相应的代码。思路同理,如:

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
    		•
  • redis_db = redis.Redis(host='127.0.0.1',port=6379)
  • data = ['zhangsan', 'lisi', 'wangwu']
  •  
  • with redis_db.pipeline(transaction=False) as pipe:
  •   for i in data:
  •     pipe.zscore(self.key, i)
  •  
  •   result = pipe.execute()
  •  
  • print result
  • # [100, 80, 78]
    		•

    • 线上的redis一般都是集群模式，集群模式下使用pipeline的时候，在创建pipeline的对象时，需要指定

  • ?
  • 1
    		•
  • pipe =conn.pipeline(transaction=False)
    		•

    • 经过线上实测，利用pipeline取值3500条数据，大约需要900ms，如果配合线程or协程来使用，每秒返回1W数据是没有问题的，基本能满足大部分业务。

    以上这篇python使用pipeline批量读写redis的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持开心学习网。

    原文链接：http://blog.51cto.com/leizhu/1825733

    标签：Python redis PipeLine
  • 上一篇：mysql拼接和过滤（mysql 如何动态修改复制过滤器）
  • 下一篇：mysql判断表中字段是否存在（mysql插入前判断数据是否存在的操作）
    • 您可能感兴趣
    首页 编程学习 Web前端 数据库 软件设计
    开心学习 ©2013-2021 保留所有权利