Redis 大 Key 导致阻塞甚至主从同步中断怎么办？

Question

仓乃文 · Accepted Answer

Redis 是单线程架构，操作大 Key 耗时较长，会阻塞主线程导致所有请求超时。更严重的是，大 Key 在删除、过期清理或 rename 时会长时间阻塞主库，进而导致主从同步中断、集群脑裂等连锁故障。

大 Key 定义：
```
-- String 类型：Value > 10KB（危险 > 10MB）
-- Hash 类型：Field 数 > 5000
-- List/Set 类型：元素数 > 10000
-- ZSet 类型：成员数 > 5000
```

排查方法：
```bash
# 1. redis-cli --bigkeys（生产慎用，会扫描所有 Key）
redis-cli --bigkeys -i 0.1  # 每 100ms 采样一次，降低影响

# 2. 查看单个 Key 的内存占用
redis-cli MEMORY USAGE mykey

# 3. 离线分析 RDB 文件（推荐，对线上无影响）
pip install rdbtools python-lzf
rdb -c memory /var/lib/redis/dump.rdb --bytes 10240 -f bigkeys.csv

# 4. RDB 分析工具：redis-rdb-tools、RedisMemoryAnalyzer
```

修复方案：
```
-- 方案 1：拆分大 Key（根本解决）
-- 大 Hash 拆分为多个小 Hash
HSET user:1001:base name "Tom" age 20
HSET user:1001:ext address "Beijing" phone "138xxxx"

-- 大 List 按时间分片
LPUSH logs:2025-05-08 "entry1"
LPUSH logs:2025-05-09 "entry2"

-- 方案 2：压缩大 Value
-- 对 JSON/二进制数据 gzip 压缩后存储
-- 读取时解压，用 CPU 换内存

-- 方案 3：安全删除大 Key（避免阻塞）
-- 不要直接 DEL 大 Key！会阻塞主线程
-- Hash 用 HSCAN + HDEL 分批删除
-- List 用 LTRIM 逐步缩减
-- Set 用 SSCAN + SREM 分批删除
-- Redis 4.0+ 用 UNLINK 异步删除
UNLINK bigkey  -- 后台线程删除，不阻塞主线程
```

补充说明：
- 大 Key 是 Redis 最大的隐形杀手，很多线上故障都源于此
- UNLINK 是 Redis 4.0 引入的异步删除命令，生产环境必须用
- 规则：单个 Key 的 Value 控制在 10KB 以内，集合类型不超过 5000 元素
- 大 Key 的过期清理同样会阻塞，设过期时间也要谨慎