redis迁移

通过Redis-shake的sync(同步)模式,可以将Redis的数据实时迁移至另一套Redis环境。

前提条件: Redis的版本为2.8、3.0、3.2、4.0或5.0版本。

redis-shake 介绍

  1. redis-shake是阿里云用于Redis数据传输与过滤的开源工具,该工具易于部署,灵活高效。
  2. redis-shake的Sync(同步)模式支持全量数据迁移和增量数据迁移;
  3. Restore(恢复)模式支持将本地RDB文件中的数据恢复至目标端;
  4. Scan模式是使用SCAN命令来获取源端Redis中的Key,然后使用DUMP命令获取Key的值,最终使用RESTORE命令将Key(与其值)恢复至目标端。

不同模式的同步流程如下图所示:

在这里插入图片描述

注意事项:

  1. 如果目标库的数据逐出策略(maxmemory-policy)配置为除noeviction以外的值,可能导致目标库的数据与源库不一致。关于数据逐出策略详情,请参见Redis数据逐出策略
  2. 如果源库中的部分Key使用了过期(Expire)机制,由于可能存在Key已过期但未被及时删除的情形,在目标库中查看(如通过info命令)的Key数量会比源库的Key数量少。

redis-shake 3.X 版本测试

redis-shake 3.X 下载

wget 'https://github.com/alibaba/RedisShake/releases/download/v3.1.7/redis-shake-linux-amd64.tar.gz'

redis-shake 3.X 解压

mkdir redis-shake
tar zxvf redis-shake-linux-amd64.tar.gz -C redis-shake

redis-shake 3.X 配置

我们使用redis-shake中sync模式,以下配置已sync配置为例

type = "sync"

[source]
version = 2.8 # redis version, such as 2.8, 4.0, 5.0, 6.0, 6.2, 7.0, ...
address = "x.x.x.x:6379"
username = "" # keep empty if not using ACL
password = "xxxxxxx" # keep empty if no authentication is required
tls = false
elasticache_psync = "" # using when source is ElastiCache. ref: https://github.com/alibaba/RedisShake/issues/373

[target]
type = "standalone" # "standalone" or "cluster"
version = 2.8 # redis version, such as 2.8, 4.0, 5.0, 6.0, 6.2, 7.0, ...
 # When the target is a cluster, write the address of one of the nodes.
 # redis-shake will obtain other nodes through the `cluster nodes` command.
address = "x.x.x.x:6379"
username = "" # keep empty if not using ACL
password = "xxxxxxx" # keep empty if no authentication is required
tls = false

[advanced]
dir = "data"

ncpu = 4 # runtime.GOMAXPROCS, 0 means use runtime.NumCPU() cpu cores

pprof_port = 0 # pprof port, 0 means disable

metrics_port = 0 # metric port, 0 means disable

log_file = "redis-shake.log"
log_level = "info" # debug, info or warn
log_interval = 5 # in seconds

rdb_restore_command_behavior = "skip" # panic, rewrite or skip

pipeline_count_limit = 1024 # pipeline

target_redis_client_max_querybuf_len = 1024_000_000

target_redis_proto_max_bulk_len = 512_000_000

redis-shake 3.X 启动

./redis-shake sync.toml

在这里插入图片描述

日志字段说明:

  1. allowOps:表示每秒向目标库发送多少条命令
  2. disallowOps:表示每秒过滤的命令数。
  3. entryId:从1开始计数,表示redis-shake共处理多少条命令。
  4. InQueueEntriesCount:表示还剩余多少条命令待发送。

Redis数据逐出策略

volatile-lru 按照LRU算法逐出原有数据,但仅逐出设置了过期时间的数据。

volatile-ttl 仅逐出设置了过期时间的数据,并且是按照TTL由小到大的顺序进行逐出。

allkeys-lru 按照LRU算法逐出原有数据。

volatile-random 随机逐出原有数据,但仅逐出设置了过期时间的数据。

allkeys-random 随机逐出原有数据。

noeviction 不逐出任何数据,当内存已满时新数据的写入会得到一个错误信息(DEL和某些其他的命令除外)。

volatile-lfu 按照LFU算法逐出原有数据,只从设置了过期时间的key中选择最不常用的key进行删除。

allkeys-lfu 按照LFU算法优先逐出最不常用的key。

reids-shake 2.X 版本测试

reids-shake 2.X 下载

wget 'http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/120287/cn_zh/1608173646665/redis-shake-v2.0.3.tar.gz'

reids-shake 2.X 解压

tar xzf redis-shake-v2.0.3.tar.gz

reids-shake 2.X 配置

conf.version = 1   #当前配置文件版本号,请不要修改
id = redis-shake
log.file =         #指定日志文件,不指定将打印到stdout
log.level = info
pid_path =         #指定pid路径,不指定默认/var/run
system_profile = 9310
http_profile = 9320 # metric端口号 -1表示不启用
parallel = 32       #启动多少个并发线程同步一个RDB文件,默认32
source.type = sentinel #支持standalone,sentinel,cluster和proxy四种模式
source.address = sourcemaster:master@x.x.x.x:26379
source.password_raw = XXXXXXXXXXXXXXXXXXX
source.auth_type = auth
source.tls_enable = false
source.rdb.input = local
source.rdb.parallel = 0
source.rdb.special_cloud =
target.type = sentinel
target.address = targetmaster:master@x.x.x.x:26379
target.password_raw = XXXXXXXXXXXXXXXXXXX
target.auth_type = auth
target.db = -1
target.tls_enable = false
target.rdb.output = local_dump
target.version = 2.8   #目标redis版本
fake_time =            #处理过期的键值,当迁移两端不一致,目的端需要加上这个值
key_exists = ignore    #当源目的有重复的key,支持rewrite(覆盖目的端key)、none(进程直接退出)、ignore(保留目的端key,忽略源端key)
filter.db.whitelist = 5;9 #指定通过的db 该配置db5、db9通过其他忽略
filter.db.blacklist =     #指定过滤的db
filter.key.whitelist =    #指定特定前缀的key通过
filter.key.blacklist =    #指定特定前缀的key过滤
filter.slot =
filter.lua = false
big_key_threshold = 524288000 #key不大直接调用restore写入目的端,如果key对应的value字节超过定制那么分批次一个一个写入,如果目的端是Codis 该参数需要置1,目的端大版本小于源端,建议置1.
metric = true
metric.print_log = false
sender.size = 104857600 #发送缓存的字节长度,超过这个阈值将会强行刷缓存发送
sender.count = 4095   #发送缓存的报文个数,超过这个阈值将会强行刷缓存发送
sender.delay_channel_size = 65535 # 用于metric统计时延的队列
keep_alive = 0    # TCP keep-alive保活参数,单位秒,0表示不启用。
scan.key_number = 50  # 每次scan的个数,不配置则默认100.
scan.special_cloud = #有些版本具有特殊格式目前支持腾讯云的集群版"tencent_cluster"、阿里云的集群版"aliyun_cluster",主从版本不需要,只针对集群版。
scan.key_file = #有些云版本,不支持sync/psync,也不支持scan,我们支持从文件中进行读取所有key列表并进行抓取:一行一个key。
qps = 200000 #每秒传输key的个数
resume_from_break_point = false #断点续传
replace_hash_tag = false

reids-shake 2.X 启动

 ./redis-shake.linux -type=sync -conf=redis-shake.conf

在这里插入图片描述

字段说明:

  1. forwardCommands:源库发送过来的命令数。
  2. filterCommands:被过滤的命令数,例如在Redis-shake配置文件中设置了过滤某些库。
  3. writeBytes:源库发送过来的字节数。
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐