建站
咨詢
售后
建站咨詢
新聞中心
年底了，你發(fā)年終獎了么？是不是很不爽？不管是被動畢業(yè)還是主動畢業(yè)，生活還得繼續(xù)是不是？
目前創(chuàng)新互聯(lián)建站已為上千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁空間、網(wǎng)站托管維護(hù)、企業(yè)網(wǎng)站設(shè)計(jì)、富源網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
作為程序員，那就離不開Redis，誰讓不爭氣的磁盤還是那么慢呢？要過了面試這道坎，Redis必須掌握好。除了會用，還得了解它背后的原理。
為啥？因?yàn)榇蠹椰F(xiàn)在都在養(yǎng)蠱。人生在世，諸多無奈。逆水行舟，不進(jìn)則退。
如果你讀過Redis相關(guān)的書籍，本文就幫你快速的擼一遍。沒讀過也不要緊，缺啥補(bǔ)啥。
redis能力：
- 1 0W/s QPS （redis-benchmark）
- 1w+ 長鏈接 （netstat / ss）
- 最復(fù)雜的Zset 6kw數(shù)據(jù) 寫入1k/s 讀取5k/s 平均耗時5ms
- 持久化 (rdb)
1. 基本概覽
學(xué)習(xí)一門新語言，重要的是掌握它的基本數(shù)據(jù)結(jié)構(gòu)，以及這些數(shù)據(jù)結(jié)構(gòu)的API。redis的這些數(shù)據(jù)結(jié)構(gòu)，就類似一門語言。
Redis數(shù)據(jù)結(jié)構(gòu)
常用5種，一共10種。面試時一般回答5種即可，但其他5種是加分項(xiàng)。
- String 字符串
- Hash 字典
- List 列表
- Set 集合
- ZSet? 有序集合。性能參考：《redis的zset有多牛？請把耳朵遞過來》
- Pubsub 發(fā)布訂閱 （不推薦使用，坑很多）
- Bitmap 位圖
- GEO 地理位置 （有限使用，附近的人）
- Stream 流(5.0) （與Kafka非常像）
- Hyperloglog 基數(shù)統(tǒng)計(jì)
Redis的協(xié)議
Redis是文本協(xié)議
- RESP 以CRLF結(jié)尾(\r\n)
- RESP3 （redis6啟用，增加客戶端緩存）
Redis底層數(shù)據(jù)結(jié)構(gòu)
數(shù)據(jù)量較小和大數(shù)據(jù)量的時候，往往不同，關(guān)注大數(shù)據(jù)量的主要結(jié)構(gòu)。
- String-sds
- Hash-(ziplist , dict)
- Set-(intset,dict)
- List-(ziplist,quicklist)
- ZSet-(ziplist+skiptable 跳表)
- Stream-(radix-tree 基數(shù)數(shù))
跳表的關(guān)注度比較大，在Java中，可以參考類似ConcurrentSkipListMap實(shí)現(xiàn)。
另：Java中有序Set叫做TreeSet，但是用紅黑樹實(shí)現(xiàn)的，注意區(qū)別。
Redis持久化方式
生產(chǎn)環(huán)境，一般僅采用RDB模式。
- RDB
- AOF （類似Binglog row模式）
- 混合模式：RDB+AOF
O(n)指令
- keys *
- hgetall
- smembers
- sunion
- ...
建議在集合大小不確定的時候，使用scan hscan sscan zscan 替代。另外，像keys這種危險(xiǎn)命令，最好使用RENAME指令給屏蔽掉。
性能優(yōu)化
- unlink刪除key -> 異步避免阻塞
- pipeline批量傳輸，減少網(wǎng)絡(luò)RTT ->減少頻繁網(wǎng)絡(luò)交互
- 多值指令（mset，hmset）-> 減少頻繁網(wǎng)絡(luò)交互
- 關(guān)掉aof -> 避免io_wait
擴(kuò)展方式
- lua
- redis-module
module模式知道的人比較少，屬于比較底層的開發(fā)。
2. 問題排查
- monitor指令
- keyspace-events 訂閱某些Key的事件。比如，刪除某條數(shù)據(jù)的事件，底層實(shí)現(xiàn)基于pubsub
- slow log 顧名思義，滿查詢，非常有用
- --bigkeys啟動參數(shù) Redis大Key健康檢查。使用的是scan的方式執(zhí)行， 不用擔(dān)心阻塞
- memory usage key、memory stats 指令
- info?指令，關(guān)注instantaneous_ops_per_sec、used_memory_human、connected_clients
- redis-rdb-tools rdb線下分析
3. 淘汰策略
如果你應(yīng)聘的是redis dba，這道題答不出來，直接淘汰。
- 被動刪除 (只有被get到的時候，刪除并返回NIL 屬于惰性刪除）
- 主動刪除 (100ms運(yùn)行一次，隨機(jī)刪除持續(xù)25ms，類似Cron）
- ->內(nèi)存使用超過maxmemory，觸發(fā)主動清理策略
針對于第三種情況，有8種策略。注意，redis已經(jīng)有LFU了。
- 默認(rèn)volatile-lru 從設(shè)置過期數(shù)據(jù)集里查找最近最少使用
- volatile-ttl 從設(shè)置過期的數(shù)據(jù)集里面優(yōu)先刪除剩余時間短的Key
- volatile-random 從設(shè)置過期的數(shù)據(jù)集里面任意選擇數(shù)據(jù)淘汰
- volatile-lfu 從過期的數(shù)據(jù)集里刪除 最近不常使用 的數(shù)據(jù)淘汰
- allkeys-lru
- allkeys-lfu
- allkeys-random 數(shù)據(jù)被使用頻次最少的,優(yōu)先被淘汰
- no-enviction
如果不設(shè)置maxmemory,Redis將一直使用內(nèi)存，直到觸發(fā)操作系統(tǒng)的OOM-KILLER。
4. 集群模式
- 單機(jī)
- 單機(jī)多實(shí)例
- 主從（1+n）
- 主從（1+n）& 哨兵（3或者基數(shù)個）
- Redis Cluster （推薦，但使用有限制）。參考：《與親生的Redis Cluster，來一次親密接觸》
互聯(lián)網(wǎng)建議使用Redis Cluster，外包、項(xiàng)目隨意。
具體搭建過程，請參考：《好慌，Redis這么多集群方案，要用哪種？》
大規(guī)模
- twemproxy
- codis
- 基于Netty Redis協(xié)議自研
- 管理平臺：CacheCloud
5. Redis常見問題
Redis使用場景
- 緩存 （緩存一致性 緩存穿透 緩存擊穿 緩存雪崩）
- 分布式鎖 （redlock）
- 分布式限流
- Session
API舉例：
- zset 排行榜，排序
- bitmap 用戶簽到，在線狀態(tài)
- geo 地理位置，附近的人
- stream 類似kafka的消息流
- hyperloglog 每日訪問ip數(shù)統(tǒng)計(jì)
緩存一致性
為什么有一致性問題?
- 寫入。緩存和數(shù)據(jù)庫是兩個不同的組件，只要涉及到雙寫，就存在只有一個寫成功的可能性，造成數(shù)據(jù)不一致。
- 更新。更新的情況類似，需要更新兩個不同的組件。
- 讀取。讀取要保證從緩存中讀到的信息是最新的，是和數(shù)據(jù)庫中的是一致的。
- 刪除。當(dāng)刪除數(shù)據(jù)庫記錄的時候，如何把緩存中的數(shù)據(jù)也刪掉？
建議使用：Cache Aside Pattern
讀請求：
- 先讀cache，再讀db
變更操作：
- 先操作數(shù)據(jù)庫，再 淘汰 緩存
涉及到復(fù)雜的事務(wù)和回滾操作，可以把淘汰放在finally里。
問題：緩存淘汰失?。。ǜ怕屎艿?，定時補(bǔ)償）
緩存擊穿
影響，輕微。
高流量下 大量請求讀取一個失效的Key -> Redis Miss -> 穿透到DB
解決方式：采用分布式鎖，只有拿到鎖的第一個線程去請求數(shù)據(jù)庫，然后插入緩存
緩存穿透
影響，一般。
訪問一個不存在的Key-> Redis Miss -> 穿透到DB
解決方式：
- 給相應(yīng)的Key設(shè)置一個Null值，放在緩存中
- BloomFilter預(yù)先判斷
緩存雪崩
影響：嚴(yán)重。
大量Key同時失效 ｜ 2.Redis當(dāng)機(jī) -> Redis Miss -> 壓力打到DB
解決方式：
- 給失效時間加上相對的隨機(jī)數(shù)
- 保證Redis的高可用
分布式鎖
redis的分布式鎖，并不是那么簡單。建議使用redisson的redlock。最基礎(chǔ)的指令是setnx。
setnx-> SET key value [EX seconds|PX milliseconds|KEEPTTL] [NX|XX] [GET]
分布式鎖 關(guān)鍵點(diǎn)：
- 原子性
- 鎖超時
- 死鎖
- 讀寫鎖
- 故障轉(zhuǎn)移
最簡單的Redis分布式鎖代碼（不嚴(yán)謹(jǐn)）。
java端代碼模擬lock和unlock。
public String lock(String key, int timeOutSecond){
for (; ; ) {
String stamp = String.valueOf(System.nanoTime());
boolean exist = redisTemplate.opsForValue().setIfAbsent(key, stamp, timeOutSecond, TimeUnit.SECONDS);
if (exist) {
return stamp;
}
}
}
public void unlock(String key, String stamp){
redisTemplate.execute(script, Arrays.asList(key), stamp);
}lua腳本unlock。
local stamp = ARGV[1]
local key = KEYS[1]
local current = redis.call("GET",key)
if stamp == current then
redis.call("DEL",key)
return "OK"
end
6. Redis使用
常用Java客戶端
- lettuce SpringBoot默認(rèn),基于Netty的事件驅(qū)動模型
- jedis 老牌的客戶端，使用commons-pool來完成線程池開發(fā)
- redisson 非常豐富的分布式數(shù)據(jù)結(jié)構(gòu)，包括鎖，分布式Map等。大量使用Lua腳本?
詳細(xì)分析：Redis都要老了，你還在用什么古董客戶端？
使用規(guī)范
根據(jù)公司情況自定義裁剪，沒有萬能的規(guī)范。更多：
這可能是最中肯的Redis規(guī)范了
- 使用連接池，不要頻繁創(chuàng)建關(guān)閉客戶端連接
- 消息大小限制 消息體在10kb以下，可以使用snappy、msgpack等壓縮
- 避免大key和hot key
- 不使用O(n)指令
- 不使用不帶范圍的Zrange指令
- 不使用database（容易覆蓋數(shù)據(jù)）
- 不使用高級數(shù)據(jù)結(jié)構(gòu)（使用基本的5種）
- 不使用事務(wù)操作
- 禁止長時間monitor
springboot cache redis
- 使用時更要注意規(guī)范性
- cache層抽象層次太高，如需要操作底層的數(shù)據(jù)結(jié)構(gòu)，直接使用redisTemplate
Redis是多線程？
要看哪個階段。數(shù)據(jù)操作階段，一直是單線程的，哪怕是redis6。
這篇文章分析了這個過程：和 杠精 聊Redis多線程 ????
End
文章標(biāo)題：來來，快速擼 Redis 一遍！
轉(zhuǎn)載源于：http://m.5511xx.com/article/djjddhi.html
