# ----------------------------------------Redis 单机模式-------------------------------------
# Redis 单机地址
REDIS_HOST="172.25.2.25"
REDIS_PORT=6379
# REDIS 单机模式配置参数
REDIS_PARAMS={"password":"xxxx","db":0}
# ----------------------------------------Redis 哨兵模式-------------------------------------
# Redis 哨兵地址
REDIS_SENTINELS=[
('172.25.2.25',26379),
('172.25.2.26',26379),
('172.25.2.27',26379)]
# REDIS_SENTINEL_PARAMS 哨兵模式配置参数。
REDIS_SENTINEL_PARAMS={"service_name":"mymaster","password":"xxxx","db":0}
# ----------------------------------------Redis 集群模式-------------------------------------
# Redis 集群地址
REDIS_MASTER_NODES=[
{"host":"172.25.2.25","port":"6379"},
{"host":"172.25.2.26","port":"6379"},
{"host":"172.25.2.27","port":"6379"},]
#REDIS_CLUSTER_PARAMS 集群模式配置参数
REDIS_CLUSTER_PARAMS={"password":"xxxx","db":0}
# ----------------------------------------Scrapy 其他参数-------------------------------------
# 在 redis 中保持 scrapy-redis 用到的各个队列，从而允许暂停和暂停后恢复，也就是不清理 redis
queuesSCHEDULER_PERSIST=True
# 调度队列
SCHEDULER="scrapy_redis_sentinel.scheduler.Scheduler"
# 去重 注：当使用集群时单机不生效
DUPEFILTER_CLASS="scrapy_redis_sentinel.dupefilter.RFPDupeFilter"
scrapy-redis分布式集群redis配置
?著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事?！?“怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- Scrapy-Redis分布式爬虫组件 Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫...
- 从零搭建Redis-Scrapy分布式爬虫 Scrapy-Redis分布式策略： 假设有四台电脑：Windows ...
- 提示 阅读本文章，您需要： 了解scrapy，知道scrapy-redis可以用来干嘛，最好已经有了可以单机运行的...
- 1. 分布式爬虫简介 1.1. 分布式系统介绍 分布式概念-- 分布式系统是由一组多台计算机组成的系统；-- 计算...
