扩个节点抖三抖:Redis Cluster 槽迁移、MOVED/ASK 与大 key 的连环坑

2026-11-20 17 0

给 Redis 集群加节点,本来是件很体面的事:redis-cli --cluster reshard 一敲,看着 key 一格一格挪过去,扩容完成,业务无感。

然后线上抖了。

不是抖一下,是那种“刚扩容完的三分钟里,监控图上红色一片,客户端日志里 MOVED 和 ASK 混着报错,应用层超时翻倍”的抖。事后复盘才发现:Redis Cluster 的扩容从来不是“把数据搬过去”这么简单,它是一场全局重定向风暴,而你的客户端有没有做好心理准备,决定了这次是平滑迁移还是一次小型事故。

这篇文章不灌鸡汤,就三件事:Redis Cluster 的路由到底怎么算的、槽迁移到底在搬什么、以及怎么让你的扩容既平滑又不装孙子。


一、16384 个抽屉,和一句 “MOVED”

Redis Cluster 把整个 keyspace 切成 16384 个槽(slot),每个主节点负责其中一段。这套设计的精髓在于哈希分布 + 一层极薄的重定向协议。

客户端连上任意节点,GET foo,节点发现这个 key 的槽不归自己管,于是不执行,直接回一句:

-MOVED 3999 127.0.0.1:7001

意思是:“这个抽屉在 7001 那儿,你自己过去。”客户端拿到后顺手把映射缓存下来(slot map),下次直连 7001,不再问别人。这套 CLUSTER SLOTS 缓存,是 Redis Cluster 的核心省流手段。

问题也出在这:槽的归属是会变的。扩容时把槽从 A 迁到 B,客户端手里那张旧的“抽屉地图”就过期了。

很多人以为 Redis Cluster 是“客户端无感”的自动路由。真相是:它是“客户端第一次会痛、第二次就习惯”的路由。痛的是扩容那一下。

二、MOVED 和 ASK:一个是搬家,一个是临时借住

这俩长得像,语义完全不同,混淆它们是线上排障最常见的新手坑。

MOVED:这个槽永久性归属某节点了。客户端收到后应当更新本地 slot map,下次直连目标节点。

ASK:这个槽正在迁移中,源节点只是说“你要的那个 key 在目标节点那里,你自己去取”。关键在于,收到 ASK 之后客户端不能缓存这个映射——迁移结束后槽的正式主人可能是目标节点,也可能迁移失败回滚,不一定了。

# 迁移中的正确姿势
ASK 3999 127.0.0.1:7002

# 处理方式:
# 1) 立刻连到 7002,发送原命令
# 2) 不要更新本地 slot map
# 3) 收到 MOVED 时才更新

迁移期间持续刷 ASK 是正常的;迁移结束后还长时间刷 MOVED,那说明客户端的 slot map 缓存根本没刷新,或者你用了个只会重试一次就放弃的傻客户端。

顺带说一句:ASK 场景下源节点在迁移过程中对于“自己还拥有但正在搬走的槽”,是会同时查源和目标的——源节点先查,没有再转发给目标节点。这就注定了迁移期间单次 GET 的延迟会翻倍。迁移窗口内延迟翻倍,这是设计,不是 bug。

三、槽迁移在搬什么:大 key 是头号罪魁

Redis Cluster 的槽迁移不是“复制粘贴”,而是以 key 为单位逐个搬运。命令长这样:

CLUSTER SETSLOT 3999 IMPORTING 127.0.0.1:7001
CLUSTER SETSLOT 3999 MIGRATING 127.0.0.1:7002
MIGRATE 127.0.0.1:7002 "" 3999 5000 REPLACE

问题来了:如果你要迁的槽里有一个几百 MB 的 list 或 hash,MIGRATE 就要在网络里传这个大对象。它不是流式的、不是分块的,是一把梭哈:源节点序列化整个对象 → 全量发给目标节点 → 目标节点反序列化 → 期间源节点持完整副本 + 网络缓冲 + 目标节点缓冲。

三重内存放大,一次几百 MB,网卡打满,主节点卡住。1MB 的 key 迁移只要几十毫秒,大家觉得“还行”;100MB 的 key 能卡住源节点好几秒,这时候源节点上所有其他请求都在跟着排队。

更阴的是第三种情况:key 还在被写。生产环境迁移期间持续写入的 key,迁过去的是某个时间点的快照,新版本还留在源节点,等迁移完成后可能被 slot 归属切换“遗弃”。这种事我见过两次,每次都得靠业务侧双写兜底。

大 key 不是“内存问题”,是“迁移问题”。一个 500MB 的 value,在你集群扩容的那一刻就是一个定时炸弹。

四、扩个容为什么会让业务抖?因为你在替客户端思考

来拆一下扩容时的完整链路,看看到底哪一步会抖。

第一步,客户端缓存过期。 槽归属变了,旧 slot map 还写着“这个槽归 A”。客户端继续连 A,A 返回 MOVED,客户端更新缓存并重定向。这一步本身很快,但如果连接池在重定向后没有把旧连接彻底关掉,就会出现随机失败。

第二步,客户端没做好 MOVED 处理。 有的老客户端只认 MOVED 不认 ASK;有的客户端收到 MOVED 后刷新 slot map 是同步阻塞的——每次重定向都多一次 RTT,而迁移期间几乎每个请求都命中重定向。延迟曲线会从“几毫秒”变成“几十毫秒 + 重试”。

第三步,迁移期间的双写窗口。 正在写的 key 会有两个版本,读到自己那侧是新的,读到对侧是旧的。于是你看到一个经典现象:同一个 key,扩容期间有 3% 的请求读到了旧值。业务方给它起了个名字,通常叫“脏数据 bug”,然后开会。

第四步,源节点被大 key 拖垮。 这时候你发现不是客户端的问题,是源节点 latency 飙了、blocked_clients 涨了、主从同步断了。这已经不是扩容了,这是事故。

所以正确的扩容姿势是:把迁移当成一次有状态的数据切换来做,而不是当成一条运维命令。

五、把 redirect 消灭在源头:客户端缓存与 tracked keys

聪明的做法不是"更快地处理 MOVED",而是让 MOVED 少发生甚至不发生。两个方向:

方向一:客户端侧 slot map 缓存要「够新」。 主流客户端(Lettuce、Jedis、go-redis、redis-py)都内置了 slot map 缓存和刷新机制,关键要确认三件事:

  • 缓存刷新是不是异步 + 去抖的(否则会雪崩式刷新)
  • 刷新失败时有没有降级重试,而不是直接把错误抛给业务
  • 重定向后连接是否被正确清理(这是"扩完容偶发 500"的元凶之一)

方向二:开启 Client Tracking,让服务端主动推失效。 这个功能被严重低估:

CLIENT TRACKING ON REDIRECT 12345 OPTIN
# 客户端侧
CLIENT CACHING YES

客户端告诉服务端“我要缓存这个 key”,服务端在 key 被修改或槽归属变化时主动推送失效通知(invalidation push),客户端收到就把本地缓存删掉。这样一来,迁移导致的 MOVED 几乎不发生——因为客户端在 slot 变更的瞬间就收到了通知,而不是靠第一次请求去撞。

顺带吐槽一句:Redis 官方文档把 client-side caching 藏在不起眼的角落,但它是解决“客户端缓存一堆陈旧路由”的正解。多少人手写带 TTL 的本地缓存,然后自己给自己埋雷。

六、故障转移时的另一个 MOVED:谁在什么时候放弃治疗

别忘了另一个常被忽略的场景:主节点挂了。

Redis Cluster 的故障转移是:某个从节点在超时内收到足够的 MASTERDOWN 投票 → 把自己提升为主 → 其他节点把该槽的归属改成新主节点 → 客户端下次请求收到 MOVED,更新 slot map,重连。

问题在于,客户端为了避免 MOVED,往往会在本地缓存一份“旧拓扑”,这就会造成:客户端连着一个已经死了的旧主节点,收不到 MOVED(连接断了),只能靠超时和重试判断,整个失败窗口 = 连接探测超时 + 重试退避。

这就是为什么客户端的 failover 超时配置和你的服务超时预算必须对齐。如果你的 HTTP 接口超时是 500ms,而客户端 failover 探测超时设成 3s,用户就要等 3 秒才看到失败——网关那边早就断了,一堆 504。这种“客户端比网关还能熬”的配置是超时雪崩的经典配方。

还有一个必须提的:cluster-node-timeout 决定故障判定速度,同时也是脑裂的引爆器。设得太小,网络抖一下就误判,触发不必要的 failover(客户端雪崩 + 写丢失风险);设得太大,真正故障时切换慢,用户长时间失败。这不是“调优”,是“取舍”,没有银弹。

七、一份不啰嗦的实战清单

把这些散落在前面的点收拢一下:

  1. 先扫大 key。 redis-cli --bigkeys 跑一遍,超过 1MB 的当作事故隐患处理。扩容前不清理大 key,等于闭眼过独木桥。
  2. 迁移前把该槽的写流量降到最低。 迁移窗口内关掉相关写路径(或者接受数据不一致但要有兜底),别指望 Redis 自己解决。
  3. 迁移要小步走。 redis-cli --cluster reshard 的自动模式很暴力。建议自己控制:一次迁一个槽,或按 key 数量分批,观察 QPS 和延迟再继续。
  4. 给客户端留余量。 客户端的 failover 超时、命令重试次数、连接池大小,要和网关超时、熔断阈值对齐成一条链。
  5. 开启 Client Tracking,把失效通知交给服务端推,而不是靠客户端撞 MOVED。
  6. 监控盯这几个指标:cluster_slots_assigned、cluster_known_nodes、instantaneous_ops_per_sec、blocked_clients,以及每个节点的 used_memory 曲线(迁移期间的锯齿很明显)。
  7. 迁完做一次抽样校验,别让“迁完了”变成一句感觉。

八、写在最后

Redis Cluster 是个好东西,它用一层极薄的重定向协议换来了集群的弹性与线性扩展。但它的美感和它的坑是同一件事的两面:客户端必须理解拓扑。拓扑是动态的,客户端的理解一旦滞后,就会用 MOVED/ASK 的形式把内部复杂度泄漏到业务代码里。

所以我最终的结论是:扩容出事故,从来不是 Redis 的锅,是你的客户端没有为拓扑变化做好准备。

而最好的准备,不是写一个更复杂的重试逻辑,是让重定向根本不发生。

把这篇文章存好,下次有人跟你说“Redis Cluster 无感扩容”,你可以笑着把 MIGRATE 那段翻给他看。

相关文章

缓存雪崩、击穿、穿透:别再混着讲,三兄弟得用三套连招
你的服务器没崩、没满、没报错,但请求就是超时:conntrack 表打满,这个被集体冤枉的凶手
你的 WebSocket 三分钟就断:心跳、重连与一百万连接的真相
42 KB 的请求,打爆 126 MB 的内存:gzip 解压炸弹,你的接口正裸奔
缓存没坏,你的服务却挂了:穿透、击穿、雪崩,以及那份永远对不上的数据
你的写入明明很快,直到磁盘开始抖:LSM-Tree 的三把刀,和一次 RocksDB 磁盘风暴复盘

发布评论