從OS等級探究：Redis運作原理程式逐行講解

1.1 redisObject

1.2 sds

 

2.1 ziplist

2.2 quicklist

 

3.1字典

3.2資料庫

 

4.1無序集合

4.2有序集合

 

5.1伺服器定義

5.2 main函數

5.3 Redis初始化過程

 

06事件機制

6.1 Redis事件機制概述

6.2 Redis啟動時建立的事件

6.3事件循環器的執行 

 

7.1 I/O重複使用模型 

7.2 epoll網路程式設計

7.3 Redis網路通訊啟動過程

 

8.1定義

8.2建立用戶端 

8.3關閉用戶端 

8.4用戶端設定

 

9.1 RESP協定

9.2解析請求 

9.3傳回回應 

9.4執行指令 

 

10.1執行緒概述 

10.2互斥量概述

10.3初始化I/O執行緒 

10.4解析請求

10.5 I/O執行緒主邏輯

10.6傳回回應

10.7 I/O執行緒狀態切換 

 

11 RDB

11.1 RDB定時邏輯 

11.2 RDB持久化過程

11.3 RDB檔案載入過程

11.4 RDB檔案分析範例

11.5 RDB設定

11.6 UNIX寫入時複製機制

11.7 UNIX I/O與快取

 

12.1 AOF定時邏輯 

12.2 AOF持久化過程 

12.3 AOF重新定義過程

12.4 AOF檔案載入過程

12.5 AOF檔案分析範例

12.6 AOF設定

 

13.1流程概述

13.2主從交握流程

13.3從節點同步流程

13.4主節點同步流程

13.5 PSYNC2

13.6主從複製流程

13.7定時邏輯

13.8主從複製設定

 

14.1分散式一致性的困難

14.2 CAP理論

14.3 Raft演算法的設計

14.4 Redis中的Raft演算法 

 

15.1 Redis Sentinel的應用範例

15.2 Redis Sentinel的實現原理

15.3 Redis Sentinel的容錯移轉

15.4用戶端互動

 

16.1 Redis Cluster的應用範例

16.2 Redis Cluster槽位管理

16.3 Redis Cluster啟動過程

16.4 Redis Cluster節點通訊

16.5 Redis Cluster的容錯移轉

 

17交易

17.1交易的應用範例 

17.2交易的實現原理 

 

18.1 UNLINK指令的實現原理

18.2後台執行緒

 

19.1動態記憶體分配器

19.2資料過期機制

19.3資料淘汰機制

 

20.1 Redis Stream的應用範例

20.2 Stream的實現原理

 

21.1 ACL的應用範例

21.2 ACL的實現原理

 

22.1 Redis Tracking的應用範例

22.2 Redis Tracking的實現原理

 

23.1 Lua指令稿的應用範例

23.2 Lua指令稿的實現原理

 

24.1 Module的應用範例

24.2 Module的實現原理

 

　　Redis是開放原始碼的key-value儲存系統，可作為資料庫、快取、訊息元件。Redis的作者是Salvatore Sanfilippo（網名為antirez），他在2009年開發完成並開放了Redis原始碼。Redis由於性能極高、功能強大，迅速在業界流行，現已成為高併發系統中最常用的元件之一。

 

　　Redis提供了多種類型的資料結構，如字串（String）、雜湊（Hash）、串列（List）、集合（Set）、有序集合（Sorted Set）等。Redis還是分散式系統，主從叢集可以實現資料熱備份，檢查點（Sentinel）機制可以保證主從叢集高可用，Cluster叢集則提供了水平擴充的能力。Redis還提供了持久化、Lua指令稿、Module模組、Stream訊息流、Tracking機制等一系統強大功能，適用於各種業務場景。

 

　　雖然筆者主要使用Java語言開發程式，卻一直希望從原始程式層面深入分析一個C語言實現的分散式系統。C語言可以說是最接近低階語言的開發語言，分析C語言程式，可以讓我們更深入地了解作業系統的底層知識。於是，筆者學習了Redis原始程式，並編寫了本書。

 

　　為什麼選擇Redis呢？因為Redis是一個典型的「小而美」的程式。Redis實現簡單，原始程式非常優雅簡潔，閱讀起來並不吃力，而且Redis功能齊全，涵蓋了資料儲存、分散式、訊息流等許多特性，非常值得深入學習。

　　

　　透過編寫本書，筆者對Redis、UNIX程式設計、分散式系統、儲存系統都有了更深入的了解，再學習其他相關的系統（如MySQL、Nginx等），就可以舉一反三、觸類旁通。希望本書也可以幫助讀者百尺竿頭，更進一步。

 

　　第1部分分析了Redis的字串、清單、雜湊、集合這幾種資料類型的編碼格式。編碼格式，即資料的儲存格式，對於資料庫，資料的儲存格式非常重要，如關聯式資料庫的行式儲存和列式儲存。而Redis作為記憶體中資料庫，對於資料編碼的整體設計思想是：最大限度地「以時間換空間」，從而最大限度地節省記憶體。這部分內容詳細分析了Redis對記憶體的使用如何達到「錙銖必較」的程度。

 

　　第2部分分析了Redis的核心流程，包括Redis事件機制與命令執行過程。Redis利用I/O重複使用模型，實現了自己的事件循環機制，而Redis底層由該事件機制驅動運行（很多遠端服務程式都使用類似的架構，如Nginx、MySQL等）。Redis事件機制設計優雅、實現簡單，並且性能卓越，可以說是「化繁為簡」。

 

　　第3部分分析了Redis持久化與複製機制。雖然Redis是記憶體中資料庫，但仍然最大限度地保證了資料的可靠性。不管是檔案持久化，還是從節點複製，核心思想都是一樣的：透過將資料複製到不同備份中，從而保持資料安全。這部分內容分析了RDB、AOF持久化機制，以及主從節點複製流程等內容，介紹了Redis資料是如何「不脛而走」的。

 

　　第4部分分析了Redis分散式架構。這部分內容從流行的分散式演算法Raft出發，分析了Sentinel如何監控節點，Cluster叢集如何實現資料分片，如何支援動態新增、刪除叢集節點，以及它們的「拿手好戲」——容錯移轉。

 

　　第5部分分析了Redis中的進階特性，包括Redis交易、非阻塞刪除、ACL存取控制清單、Tracking機制、Lua指令稿、Module模組、Stream訊息流等內容。Redis為各種高性能、高可用場景提供了非常全面的支援，可以說是「包羅萬象」。

 

　　感謝寫作過程中身邊朋友的支持，他們給予筆者很多的力量。感謝Redis的作者antirez，優秀的Redis離不開antirez的辛勤付出，向他致敬。感謝電子工業出版社博文視點的陳曉猛編輯，陳編輯專業的寫作指導和出版組織工作，使得本書得以順利出版。感謝電腦產業的內容創作者，他們的各種分享、網誌文章及圖書都在積極推動產業的發展，也為本書的編寫提供了靈感和參考。

 

梁國斌