Redis 交易與非交易Pipeline效能最佳化

Redis 在高頻率資料存取場景下表現出色，但仍需持續最佳化以滿足效能需求。本文介紹如何使用 Redis 的交易機制確保資料一致性，並使用非交易Pipeline提升操作效率。交易機制允許以原子方式執行多個命令，透過 WATCH 監控鍵值變化，MULTI 和 EXEC 組合執行或取消操作。非交易Pipeline則適用於無原子性要求的場景，將多個命令封裝傳送，減少網路延遲。文章提供 Python 程式碼範例，包含更新使用者 token 和瀏覽紀錄等實際應用，並透過效能測試展示Pipeline的優勢，特別是在高延遲網路環境下。最後，文章也提供 Redis 效能最佳化的最佳實踐，例如重用連線和使用連線池。

Redis 交易與非交易Pipeline

在前面的章節中，我們討論瞭如何使用 Redis 的 WATCH、MULTI 和 EXEC 命令來處理多種型別的資料操作，以實作一個市場交易系統。在本章節中，我們將探討 Redis 的交易機制，並介紹如何使用非交易Pipeline來提升操作的效能。

Redis 交易機制

Redis 的交易機制允許客戶端以原子性的方式執行一系列命令。透過使用 WATCH 命令，Redis 可以監視特定的鍵值，並在執行 EXEC 命令時檢查這些鍵值是否被其他客戶端修改過。如果鍵值被修改過，Redis 將取消交易並通知客戶端。

市場交易範例

假設我們有一個市場交易系統，使用者可以在該系統中購買商品。當使用者 Bill（使用者 ID 27）想要購買商品 “ItemM” 時，系統需要執行以下步驟：

監視市場和使用者資訊：使用 WATCH 命令監視市場和 Bill 的使用者資訊，以確保資料的一致性。
驗證商品和使用者餘額：檢查商品 “ItemM” 是否仍然存在於市場中，且 Bill 的餘額是否足夠購買該商品。
執行交易：如果驗證透過，使用 MULTI 和 EXEC 命令執行交易，包括將商品轉移到 Bill 的庫存中，並將款項從 Bill 的帳戶轉移到賣家的帳戶。

# 監視市場和使用者資訊
pipe = conn.pipeline(True)
pipe.watch('market:', 'users:27')

# 驗證商品和使用者餘額
price = conn.zscore('market:', 'ItemM.17')
funds = int(conn.hget('users:27', 'funds'))

if price == 97 and funds >= price:
    # 執行交易
    pipe.multi()
    pipe.hincrby('users:27', 'funds', -97)
    pipe.hincrby('users:17', 'funds', 97)
    pipe.zrem('market:', 'ItemM.17')
    pipe.sadd('inventory:27', 'ItemM')
    pipe.execute()

為什麼 Redis 不使用典型的鎖定機制？

相較於傳統的關係型資料函式庫，Redis 不使用鎖定機制來確保資料的一致性。相反地，Redis 使用樂觀鎖定（optimistic locking）機制，即客戶端在執行交易前先檢查資料是否被其他客戶端修改過，如果有，則取消交易並通知客戶端。這種機制可以減少客戶端的等待時間，提高系統的吞吐量。

非交易Pipeline

當我們不需要保證多個命令的原子性時，可以使用非交易Pipeline（non-transactional pipeline）來提升操作的效能。非交易Pipeline允許客戶端將多個命令封裝在一起，並一次性傳送給 Redis 伺服器，從而減少網路延遲和提高系統的吞吐量。

使用非交易Pipeline的最佳實踐

要使用非交易Pipeline，可以在建立 pipeline 物件時傳入 False 引數，如下所示：

pipe = conn.pipeline(False)

這樣，pipeline 物件就不會自動將命令包裝在 MULTI 和 EXEC 命令中。

範例：更新 Token

假設我們有一個 update_token() 函式，用於更新使用者的登入 token 和最近瀏覽的商品。原本的實作需要多次呼叫 Redis 命令，現在我們可以使用非交易Pipeline來最佳化它：

def update_token(conn, token, user, item=None):
    timestamp = time.time()
    pipe = conn.pipeline(False)
    pipe.hset('login:', token, user)
    pipe.zadd('recent:', {token: timestamp})
    if item:
        pipe.zadd('viewed:' + token, {item: timestamp})
        pipe.zremrangebyrank('viewed:' + token, 0, -26)
        pipe.zincrby('viewed:', item, -1)
    pipe.execute()

透過使用非交易Pipeline，我們可以減少網路延遲和提高系統的吞吐量。

將 Redis 交易機制應用於更複雜的交易場景中。
使用非交易Pipeline最佳化查詢效能和系統吞吐量。
探索 Redis 其他進階功能，例如發布/訂閱（Pub/Sub）和 Lua 指令碼。

內容解密：

上述範例展示瞭如何使用 Redis 的交易機制和非交易Pipeline來最佳化操作的效能和確保資料的一致性。在實際應用中，我們需要根據具體的需求和場景選擇合適的技術方案。同時，我們也需要考慮到 Redis 的限制和潛在的問題，例如網路分割（network partition）和節點故障（node failure）。只有深入理解 Redis 的內部機制和限制，才能更好地應用它於實際生產環境中。

提升Redis效能：使用非交易型Pipeline最佳化效能

在現代的Web應用程式中，Redis作為高效能的記憶體資料函式庫，扮演著至關重要的角色。尤其是在需要頻繁存取資料的場景下，Redis能夠提供極低的延遲和高吞吐量。然而，如何進一步最佳化Redis的效能，仍然是開發者們關注的重點。

為什麼需要最佳化Redis效能？

在大多數情況下，開發者會將Redis與Web伺服器佈署在相同的區域網路（LAN）中，這樣可以確保兩者之間的通訊延遲極低，通常在1-2毫秒左右。然而，即使在如此低的延遲下，如果應用程式需要與Redis進行多次互動（例如，更新使用者的登入狀態、記錄最近瀏覽的專案等），累積的延遲仍然可能對整體效能產生顯著影響。

使用非交易型Pipeline提升效能

為了減少與Redis的通訊次數，從而降低整體延遲，我們可以使用Redis提供的Pipeline機制。Pipeline允許我們將多個命令封裝在一起，一次性傳送給Redis伺服器，這樣可以顯著減少網路往返次數，提升效能。

以下是一個使用Python和Redis客戶端實作的update_token_pipeline函式範例：

def update_token_pipeline(conn, token, user, item=None):
    timestamp = time.time()
    pipe = conn.pipeline(False)  # 建立非交易型Pipeline
    pipe.hset('login:', token, user)  # 設定使用者的登入Token
    pipe.zadd('recent:', {token: timestamp})  # 更新最近登入的使用者列表
    if item:
        pipe.zadd('viewed:' + token, {item: timestamp})  # 更新使用者瀏覽的專案列表
        pipe.zremrangebyrank('viewed:' + token, 0, -26)  # 限制使用者瀏覽歷史的長度
        pipe.zincrby('viewed:', -1, item)  # 更新專案的瀏覽次數
    pipe.execute()  # 執行Pipeline中的所有命令

內容解密：

建立非交易型Pipeline：conn.pipeline(False)用於建立一個非交易型的Pipeline，這意味著Pipeline中的命令不會被當作一個原子操作執行。
hset命令：用於將使用者的Token與其ID進行對映，儲存在Redis的Hash結構中。
zadd命令：用於更新有序集合，例如最近登入的使用者列表和使用者瀏覽的專案列表。
zremrangebyrank命令：用於限制有序集合的大小，例如保留使用者最近瀏覽的25個專案。
zincrby命令：用於更新專案的瀏覽次數，這裡使用負數來表示減少某專案的計數。
execute方法：用於執行Pipeline中的所有命令，這是真正將命令傳送給Redis伺服器的步驟。

效能測試與對比

為了評估使用Pipeline前後的效能差異，我們編寫了一個簡單的基準測試函式benchmark_update_token，用於比較update_token和update_token_pipeline兩個函式的執行效能。

def benchmark_update_token(conn, duration):
    for function in (update_token, update_token_pipeline):
        count = 0
        start = time.time()
        end = start + duration
        while time.time() < end:
            count += 1
            function(conn, 'token', 'user', 'item')
        delta = time.time() - start
        print(function.__name__, count, delta, count / delta)

內容解密：

迴圈執行函式：在設定的時間內，不斷執行指定的函式，並統計執行的次數。
計算執行時間：記錄函式執行的總時間，用於後續的效能計算。
輸出效能結果：列印函式名稱、執行次數、總耗時以及每秒執行的次數。

測試結果與分析

透過在不同網路環境下執行基準測試，我們得到了如表4.4所示的結果。

描述	頻寬	延遲	`update_token()` 每秒呼叫次數	`update_token_pipeline()` 每秒呼叫次數
本機，Unix domain socket	>1 gigabit	0.015ms	3,761	6,394
本機，localhost	>1 gigabit	0.015ms	3,257	5,991
遠端機器，分享交換器	1 gigabit	0.271ms	739	2,841
遠端機器，透過VPN連線	1.8 megabit	48ms	3.67	18.2

從測試結果可以看出，使用Pipeline後，效能得到了顯著提升，尤其是在高延遲的網路環境下，效能提升更加明顯。這是因為Pipeline減少了與Redis的通訊次數，從而降低了整體延遲。

除了使用Pipeline之外，還有其他方法可以進一步最佳化Redis的效能，例如：

最佳化命令使用：選擇合適的Redis命令，避免使用複雜度高的命令。
合理組態Redis：根據實際需求調整Redis的組態引數，例如記憶體限制、持久化策略等。
使用叢集模式：當單個Redis例項無法滿足效能需求時，可以考慮使用Redis叢集模式來分散負載。

透過綜合運用這些最佳化策略，可以進一步提升Redis的效能，滿足日益增長的業務需求。

第4章確保資料安全與效能最佳化

在上一章中，我們討論瞭如何在更大的系統群集中保持Redis的運作。本章將著重於使用Redis支援其他系統元件，從收集系統目前狀態資訊到使用Redis作為組態目錄。

4.1 Redis效能基準測試

要了解Redis的效能，首先需要了解如何進行基準測試。Redis提供了一個名為redis-benchmark的工具，可以用來測試Redis的效能。

使用redis-benchmark進行基準測試

執行redis-benchmark時，可以使用不同的選項來調整測試引數。例如，使用-c1選項來指定單一客戶端連線，使用-q選項來簡化輸出結果。

$ redis-benchmark -c1 -q
PING (inline):34246.57 requests per second
PING:34843.21 requests per second
MSET (10 keys):24213.08 requests per second
SET:32467.53 requests per second
GET:33112.59 requests per second
INCR:32679.74 requests per second
LPUSH:33333.33 requests per second
LPOP:33670.04 requests per second
SADD:33222.59 requests per second
SPOP:34482.76 requests per second
LPUSH (again, in order to bench LRANGE):33222.59 requests per second
LRANGE (first100 elements):22988.51 requests per second
LRANGE (first300 elements):13888.89 requests per second
LRANGE (first450 elements):11061.95 requests per second
LRANGE (first600 elements):9041.59 requests per second

#### 內容解密：

redis-benchmark的輸出結果顯示了Redis在不同操作下的效能指標。這些操作包括PING、SET、GET、INCR、LPUSH、LPOP、SADD、SPOP和LRANGE等。結果中的數字代表每秒可以執行的命令數量。

4.2 瞭解Redis客戶端效能

在進行基準測試時，需要注意redis-benchmark的結果與實際應用程式的效能可能有所不同。這是因為redis-benchmark並不處理命令的結果，因此某些需要大量解析開銷的回應並未被考慮在內。

一般來說，Python Redis客戶端在單一客戶端和非Pipeline命令下的效能大約是redis-benchmark的50-60%。如果發現命令執行的速度約為預期的50%，或者出現錯誤訊息「Cannot assign requested address」，可能是因為每次命令都建立了新的連線。

4.3 提高Redis效能的最佳實踐

以下是一些提高Redis效能的最佳實踐：

重用Redis連線：避免每次命令都建立新的連線，可以重用現有的連線以提高效能。
使用連線池：大多數Redis客戶端函式庫都提供連線池功能，可以有效地管理連線。
使用Pipeline：將多個命令組合在一起執行，可以減少網路開銷並提高效能。

4.4 診斷效能問題

如果遇到效能問題，可以參考以下步驟進行診斷：

檢查錯誤訊息：如果出現錯誤訊息「Cannot assign requested address」，可能是因為連線未被正確重用。
檢查客戶端組態：確保客戶端組態正確，例如連線池大小等。
使用監控工具：使用Redis的監控工具，例如redis-cli --stat，來檢查Redis的執行狀態。

第5章使用Redis支援應用程式

在上一章中，我們討論瞭如何保持Redis的效能以及如何確保資料的安全性。本章將著重於使用Redis來支援應用程式，包括日誌記錄、計數器和服務發現等。

5.1 使用Redis進行日誌記錄

Redis可以用來記錄應用程式的日誌資訊。透過使用Redis的列表或集合資料結構，可以有效地儲存和管理日誌資料。

使用Redis列表進行日誌記錄

可以使用Redis的LPUSH命令將日誌資訊推入列表中。

import redis

# 建立Redis客戶端
client = redis.Redis(host='localhost', port=6379, db=0)

# 將日誌資訊推入列表中
client.lpush('log_list', '這是一條日誌資訊')

#### 內容解密：

上述程式碼展示瞭如何使用Redis的LPUSH命令將日誌資訊推入列表中。首先，建立一個Redis客戶端連線，然後使用lpush方法將日誌資訊推入指定的列表中。

5.2 使用Redis進行計數器和統計

Redis可以用來實作計數器和統計功能。透過使用Redis的INCR命令，可以有效地實作計數器。

使用Redis實作計數器

可以使用Redis的INCR命令來實作計數器。

import redis

# 建立Redis客戶端
client = redis.Redis(host='localhost', port=6379, db=0)

# 將計數器加1
client.incr('counter')

#### 內容解密：

上述程式碼展示瞭如何使用Redis的INCR命令來實作計數器。首先，建立一個Redis客戶端連線，然後使用incr方法將指定的計數器加1。

5.3 使用Redis進行服務發現和組態

Redis可以用來實作服務發現和組態功能。透過使用Redis的鍵值對資料結構，可以有效地儲存和管理服務組態資訊。

使用Redis實作服務發現

可以使用Redis的SET命令來儲存服務組態資訊。

import redis

# 建立Redis客戶端
client = redis.Redis(host='localhost', port=6379, db=0)

# 儲存服務組態資訊
client.set('service_config', '這是服務組態資訊')

#### 內容解密：

上述程式碼展示瞭如何使用Redis的SET命令來儲存服務組態資訊。首先，建立一個Redis客戶端連線，然後使用set方法儲存指定的服務組態資訊。

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。

Redis 交易與非交易Pipeline效能最佳化