redis新手入门教学(scrapy-redis的安装部署步骤讲解)
类别:脚本大全 浏览量:1343
时间:2022-01-26 01:06:39 redis新手入门教学
scrapy-redis的安装部署步骤讲解先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上,
1. 安装redis
|
yum install -y redis |
2. 修改配置文件
vi /etc/redis.conf
将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis
3. 重启redis
|
systemctl restart redis |
4. 关闭防火墙
|
systemctl stop firewalld.service |
5. 开始创建scrapy-redis的相关,和普通的scrapy一样的创建,只不过修改setting.py文件,添加一行
|
REDIS_URL = 'redis://192.168.61.130:6379' |
6. 修改spiders.py文件
|
# -*- coding: utf-8 -*- from scrapy_redis.spiders import RedisSpider class ExampleSpider(RedisSpider): name = 'myspider' redis_key = 'test_key' allowed_domains = [ 'www.example.com' ] def parse( self , response): print ( 1111 ) pass |
7. 可以执行这个爬虫了
|
scrapy runspider example.py |
8. 进入redis
|
redis-cli -h 127.0.0.1 -p rpush test_key http: //test .com |
即可看到爬虫开始运行了
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接
原文链接:https://blog.csdn.net/dasgk/article/details/79883627
您可能感兴趣
- php redis应用场景(PHP商品秒杀问题解决方案实例详解mysql与redis)
- django测试服务器静态资源放哪里(Django使用redis缓存服务器的实现代码示例)
- 用docker搭建redis集群(docker实现redis集群搭建的方法步骤)
- phpredis怎么实现任务(PHP swoole和redis异步任务实现方法分析)
- phpredis常用方法(PHP针对redis常用操作实例详解)
- docker容器使用redis服务(docker安装redis设置密码并连接的操作)
- docker配置redis集群(基于Docker搭建Redis主从集群的实现)
- redis在php中的使用(PHP+Redis开发的书签案例实战详解)
- docker 部署参数配置(Docker搭建Redis5.0并挂载数据)
- docker部署redis集群查看版本(docker下的 redis 之持久化存储详解)
- Docker 部署单机版 Pulsar 和集群架构 Redis(开发神器)的方法(Docker 部署单机版 Pulsar 和集群架构 Redis开发神器的方法)
- docker里面安装redis(Docker上实现Redis集群搭建)
- phpredis消息队列(PHP+redis实现微博的推模型案例分析)
- docker部署tomcat(Docker安装Tomcat、MySQL和Redis的步骤详解)
- python redis锁的使用(Python操作redis实例小结String、Hash、List、Set等)
- docker查找redis配置文件(解决docker重启redis,mysql数据丢失的问题)
- 华为 Watch GT2 Pro 智能手表曝光,新增支持无线充电(华为WatchGT2)
- vivo首款智能手表来了 也有血氧饱和度监测,一次充电18天续航(vivo首款智能手表来了)
- 你知道 七夕 的真正含义吗(你知道七夕的真正含义吗)
- 七夕的寓意(七夕的寓意)
- 苏志燮赵恩静结婚,韩国四大公共财产变三人,这么快就有替补了(苏志燮赵恩静结婚)
- 《内在美》后,一大波新韩剧来袭,李钟硕朴信惠宋慧乔玄彬回归(一大波新韩剧来袭)
热门推荐
- laravel 数据库实现原理(laravel 数据迁移与 Eloquent ORM的实现方法)
- iis运行php程序(Windows2003+IIS7 Express使用FastCgi运行php)
- CSS边框border样式缩写
- python 获取数组任意组合(Python实现求两个数组交集的方法示例)
- css文本怎么控制边距(css中text-overflow属性与文本截断详解)
- webview上传功能教程(关于webview适配H5上传照片或者视频文件的方法)
- sqlserver存储删除过程(Sql中存储过程的定义、修改和删除操作)
- laravel数据库管理教程(Laravel基础_关于view共享数据的示例讲解)
- 用ILMerge合并多个DLL
- 将SQL Server数据迁移到MySQL的方法
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9