Redis 使用 SCAN 替代 KEYS 解决大数据量查询阻塞问题

在 Redis 中，KEYS 命令用于模式匹配键（例如 KEYS "user:*"），但当数据集较大时，它会遍历所有键，导致 Redis 服务器阻塞，影响其他操作。SCAN 命令通过迭代方式分批返回键，避免了阻塞问题。结合管道命令（pipeline），可以批量执行操作（如删除或查询），显著提升效率。下面我将逐步解释原理、实现方法和示例代码。

问题分析

• KEYS 命令的缺点：
  当键数量巨大时（例如百万级），KEYS 会一次性扫描所有键，占用大量 CPU 和内存，导致 Redis 服务器停顿。例如：

  redis-cli KEYS "cache:*"  # 大数据量下会阻塞服务器
  

• SCAN 命令的优势：
  SCAN 使用游标（$cursor$）分批返回结果，每次只处理一小部分键（默认 $count$=10）。语法为：

  SCAN cursor [MATCH pattern] [COUNT count]
  

  其中：
  • $cursor$ 是迭代起点（初始为 0），返回新游标供下次使用。
  • MATCH pattern 可选，用于过滤键（如 MATCH "user:*"）。
  • COUNT count 可选，指定每批返回键的数量（建议值 $100-1000$）。 当游标返回 0 时，表示迭代结束。

解决方案：SCAN + 管道命令

1. SCAN 迭代过程：
   使用循环分批获取键，避免一次性加载所有数据。
2. 管道命令优化：
   管道允许将多个命令打包发送，减少网络延迟。在 Redis CLI 中，可通过 redis-cli --pipe 或脚本实现批量操作。
3. 整体流程：
   • 初始化游标 $cursor=0$。
   • 循环执行 SCAN，获取每批键列表。
   • 将键列表通过管道发送给 Redis（例如删除或查询）。
   • 当游标为 0 时结束循环。

代码示例

以下是一个完整的 Redis CLI 脚本示例（使用 Bash），解决 "删除所有匹配 temp:* 的键" 的问题：

#!/bin/bash

cursor=0
keys_list=""  # 存储所有键，用于管道批量处理

while true; do
  # 执行 SCAN 命令，获取游标和键列表
  reply=$(redis-cli SCAN $cursor MATCH "temp:*" COUNT 500)
  
  # 解析回复：第一行为新游标，后续为键列表
  cursor=$(echo "$reply" | head -1)
  keys=$(echo "$reply" | tail -n +2 | tr ' ' '\n' | grep -v '^$')
  
  # 将键添加到管道列表
  if [ -n "$keys" ]; then
    for key in $keys; do
      keys_list+="DEL $key"$'\n'  # 构建 DEL 命令序列
    done
  fi
  
  # 检查游标是否为 0（迭代结束）
  if [ "$cursor" -eq 0 ]; then
    break
  fi
done

# 通过管道批量执行所有 DEL 命令
if [ -n "$keys_list" ]; then
  echo "$keys_list" | redis-cli --pipe
fi

关键说明

• 为什么有效：
  • SCAN 将大查询拆分成小批次（通过 COUNT 控制大小），避免阻塞。
  • 管道命令减少网络往返次数（例如，一次发送 100 个 DEL 命令）。
  • 示例中 COUNT 500 是平衡点：太小增加循环次数，太大可能影响性能。
• 参数建议：
  • COUNT 值：根据网络和服务器负载调整，通常 $100-1000$。
  • 模式匹配：使用 MATCH 精确过滤键（如 MATCH "session:*"）。
• 注意事项：
  • SCAN 可能返回重复键（概率低），但操作幂等（如 DEL 可重复执行）。
  • 管道命令需确保命令序列正确（示例中每个 DEL 独立一行）。
  • 测试时先使用 GET 或 EXISTS 替代 DEL 验证逻辑。

好处总结

• 避免阻塞：SCAN 不锁定服务器，适合生产环境。
• 高效批量处理：管道减少延迟，提升吞吐量。
• 可扩展性：适用于大数据集场景（如日志清理或数据迁移）。

通过此方法，您可以安全地处理 Redis 大数据量查询。实际应用中，可根据需求修改脚本（如查询键值或统计数量）。