开发使用redis和Jedis注意事项
  JmMM2CFhUghs 2023年11月02日 74 0


redis虽然是高性能,如果使用不当也极容易导致不可预知的生产故障。下面将从redis的使用上加以规避,主要还是细化开发者使用规范。

键值规范

key

【建议】可管理性:业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:id

【建议】简洁性:控制key的长度,太长内存占用也不容忽视

【强制】特殊字符:不能保护包含空格、换行、单双引号以及其他转义字符

【强制】类型:必须为string,我见过序列化时不注意,导致前面存在特殊null字符

value

【强制】简洁性:string类型控制在10KB以内,hash、list、set、zset元素个数不要超过5000,否则会导致防止网卡流量、慢查询

【建议类型:选择适合的数据类型,比如ziplist可以配置控制内存编码优化,要注意节省内存和性能之间的平衡

生命周期

【强制】使用expire设置过期时间,但最后打散过期时间,防止集中过期

keys & flushall & flushdb

禁止线上使用keys、flushall、flushdb等,通过redis的rename机制禁掉命令。

setnx

分布式锁并非完美,具体可参阅Redis 分布式锁。

del

比如有一个数量比较大key(bigkey),不要使用del删除,scan的方式渐进式删除(hscan、sscan、zscan),同时要注意防止bigkey过期时间自动删除问题(会触发del操作,造成阻塞,而且该操作不会不出现在慢查询中(latency可查))

注:redis 4.0已经支持key的异步删除,建议升级使用

select

redis的多数据库较弱,使用数字进行区分,很多客户端支持较差,同时多业务用多数据库实际还是单线程处理,会有干扰,因此使用一定要非常注意。

mget & mset

原生命令使用批量操作(mget、mset)提高效率

注意:要控制一次批量操作的元素个数

pipeline

非原生命令:可以使用批量操作(pipeline)提高效率

原生命令和非原生命令

  • mget的原生是原子操作
  • pipeline可以打包不同的命令,原生做不到
  • pipeline需要客户端和服务端双方同时支持

注意:要控制一次批量操作的元素个数

事务

Redis事务功能较弱,不建议过多使用。Redis的事务功能较弱(不支持回滚),而且集群版本(自研和官方)要求一次事务操作的key必须在一个slot上(可以使用hashtag功能解决)。

Lua脚本

lua脚本也是为了实现原子性操作,但原子操作Redis集群版本在使用Lua上有特殊要求:

  • 所有key都应该由 KEYS 数组来传递,redis.call/pcall 里面调用的redis命令,key的位置,必须是KEYS array, 否则直接返回error,"-ERR bad lua script for redis cluster, all the keys that the script uses should be passed using the KEYS array\r\n"
  • 所有key,必须在1个slot上,否则直接返回error, "-ERR eval/evalsha command keys must in same slot\r\n"

monitor

必要情况下使用monitor命令时,慎用

Jedis参数配置

参数名

含义

默认值

使用建议

maxTotal

资源池中最大连接数

8

最大连接数

这个值不是越大越好,一方面连接太多占用客户端和服务端资源,另一方面对于Redis这种高QPS的服务器,一个大命令的阻塞即使设置再大资源池仍然会无济于事。

1.一次命令时间(borrow|return resource + Jedis执行命令(含网络) )的平均耗时约为1ms,一个连接的QPS大约是1000;

2.业务期望的QPS是50000

那么理论上需要的资源池大小是50000 / 1000 = 50个

maxIdle

资源池允许最大空闲的连接数

8

实际上才是业务需要的最大连接数,而maxTotal是为了给出余量,所以maxIdle不要设置过小,否则会有new Jedis(新连接)开销。

连接池的最佳性能是maxTotal = maxIdle ,这样就避免连接池伸缩带来的性能干扰。但是如果并发量不大或者maxTotal设置过高,会导致不必要的连接资源浪费。

minIdle

资源池确保最少空闲的连接数

0

minIdle是为了控制空闲资源监测

blockWhenExhausted

当资源池用尽后,调用者是否要等待。只有当为true时,下面的maxWaitMillis才会生效

true

建议使用默认值

maxWaitMillis

当资源池连接用尽后,调用者的最大等待时间(单位为毫秒)

-1:表示永不超时

不建议使用默认值

testOnBorrow

向资源池借用连接时是否做连接有效性检测(ping),无效连接会被移除

false

业务量很大时候建议设置为false(多一次ping的开销)。

testOnReturn

向资源池归还连接时是否做连接有效性检测(ping),无效连接会被移除

false

业务量很大时候建议设置为false(多一次ping的开销)。

jmxEnabled

是否开启jmx监控,可用于监控

true

建议开启,但应用本身也要开启

参数名

含义

默认值

使用建议

testWhileIdle

是否开启空闲资源监测

false

true

timeBetweenEvictionRunsMillis

空闲资源的检测周期(单位为毫秒)

-1:不检测

建议设置,周期自行选择,也可以默认也可以使用下面JedisPoolConfig中的配置

minEvictableIdleTimeMillis

资源池中资源最小空闲时间(单位为毫秒),达到此值后空闲资源将被移除

100060 30 = 30分钟

可根据自身业务决定,大部分默认值即可,也可以考虑使用下面JeidsPoolConfig中的配置

numTestsPerEvictionRun

做空闲资源检测时,每次的采样数

3

可根据自身应用连接数进行微调,如果设置为-1,就是对所有连接做空闲监测

Jedis常见异常

持续更新

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  Fv5flEkOgYS5   2023年11月02日   49   0   0 i++javaide
JmMM2CFhUghs