Etcd 分散式鍵值儲存與服務發現

– 10 分鐘閱讀

etcd 使用階層式名稱空間儲存資料，提供永續性和根據 TTL 的臨時資料機制。其監控機制允許客戶端監聽資料變化，並透過遠端 JSON API 與 etcd 叢集互動。etcd 使用 Raft 共識演算法確保資料一致性，並支援 SSL/TLS 加密和客戶端憑證驗證。在服務發現場景中，服務透過註冊鍵值對實作服務註冊，客戶端則透過查詢 etcd 發現服務。etcdctl 和 curl 等工具簡化了與 etcd 的互動，而 TTL 機制則確保服務的自動登出。相較之下，Consul 整合了服務發現、健康檢查和 DNS 解析等功能，簡化了系統複雜度。Consul 同樣根據 Raft 演算法，並提供豐富的客戶端支援。在 Docker 環境中，Consul 可實作自動化服務發現和健康檢查，應用程式透過 Consul 的 DNS 或 HTTP API 取得服務例項列表。

etcd：新一代分散式鍵值儲存服務

etcd 是由 CoreOS 使用 Go 語言開發的分散式鍵值儲存系統，具備多項與 Zookeeper 相似的功能，並且在 Docker 基礎架構中更易於使用。etcd 的設計理念與實作方式使其成為服務發現的理想解決方案。

etcd 的基本特性

  1. 階層式名稱空間
    etcd 儲存資料的方式與 Zookeeper 類別似，採用階層式名稱空間（hierarchical namespace），並定義了目錄（directory）和鍵（key）的概念。任何目錄都可以包含多個鍵，這些鍵是唯一的識別碼，用於查詢儲存在 etcd 中的資料。

  2. 資料永續性與臨時性
    etcd 中的資料可以是持久的（persistent）或臨時的（ephemeral）。與 Zookeeper 不同的是，etcd 的臨時資料實作方式是根據 TTL（Time To Live）機制。任何鍵都可以設定 TTL，超過該時間後，資料將自動過期並被刪除。客戶端可以隨時重新整理 TTL 以延長資料的存活時間。

  3. 監控機制（Watch）
    客戶端可以對任意鍵或目錄設定監控（watch），當這些鍵或目錄下的資料發生變化時，客戶端將收到通知。etcd 的監控機制依賴於 HTTP(s) 長輪詢（long polling）。

  4. 遠端 JSON API
    etcd 提供遠端 JSON API，大大簡化了應用程式與 etcd 的互動過程。開發者只需使用簡單的 HTTP 使用者端（如 curl 或 etcdctl 命令列工具）即可與 etcd 叢集進行通訊，無需繫結特定的程式語言客戶端實作。

  5. Raft 共識演算法
    etcd 使用 Raft 共識演算法來管理跨叢集的資料複製。與 Zookeeper 使用的 ZAB 協定類別似，Raft 定義了長官者（leader）和跟隨者（follower）節點，所有寫入請求必須由長官者處理，並將日誌複製到跟隨者節點。

etcd 的佈署與組態

  1. 叢集佈署
    為了確保 etcd 正常運作，建議將其佈署為包含 $2n+1$ 個節點的叢集（例如 3、5 或 7 個節點）。etcd 提供強大的資料一致性保證和分割容忍性（partition tolerance）。

  2. 安全性
    etcd 支援 SSL/TLS 加密以及根據客戶端憑證的身份驗證，不僅適用於客戶端與叢集之間的通訊，也適用於叢集節點之間的通訊。

  3. 管理挑戰
    雖然 etcd 提供了優秀的管理和叢集組態，但在實際佈署和管理 etcd 叢集時仍需謹慎處理。

使用 etcd 進行服務發現

  1. 服務註冊
    服務可以透過在 etcd 中建立新的鍵值對來註冊自己，並將連線資訊儲存在該鍵下。該鍵可以設定 TTL，以實作自動化的服務登出機制。當服務需要保持註冊狀態時，可以定期更新 TTL 以延長其有效期。

  2. 服務發現
    客戶端可以查詢特定的鍵或目錄來發現已註冊的服務。此外，客戶端還可以對鍵設定監控，以便在服務資訊發生變化時及時收到通知。

  3. 註冊方式
    服務註冊既可以直接嵌入到服務程式碼中，也可以透過 sidekick 程式來實作。sidekick 程式可以使用簡單的 HTTP 使用者端（如 etcdctl 或 curl）與 etcd 叢集互動。

  4. Docker 中的應用
    在 Docker 環境中，可以使用 sidekick 程式檢查服務容器的 IP 地址和埠，並將其註冊到 etcd 中。其他容器可以透過查詢 etcd 叢集來取得服務資訊。

程式碼範例：使用 etcdctl 進行服務註冊

# 設定 etcd 鍵值對
etcdctl set /services/myapp/host "192.168.1.100"
etcdctl set /services/myapp/port "8080"

# 設定 TTL 為 60 秒
etcdctl set /services/myapp/host "192.168.1.100" --ttl 60
etcdctl set /services/myapp/port "8080" --ttl 60

# 更新 TTL
etcdctl update /services/myapp/host "192.168.1.100" --ttl 60
etcdctl update /services/myapp/port "8080" --ttl 60

# 監控鍵值變化
etcdctl watch /services/myapp/host

程式碼範例：使用 curl 與 etcd API 互動

# 設定鍵值對
curl -X PUT http://localhost:2379/v2/keys/services/myapp/host -d value="192.168.1.100"
curl -X PUT http://localhost:2379/v2/keys/services/myapp/port -d value="8080"

# 設定 TTL
curl -X PUT http://localhost:2379/v2/keys/services/myapp/host?ttl=60 -d value="192.168.1.100"
curl -X PUT http://localhost:2379/v2/keys/services/myapp/port?ttl=60 -d value="8080"

# 監控鍵值變化
curl -X GET http://localhost:2379/v2/keys/services/myapp/host?wait=true

#### 內容解密：

  • etcdctl 是 etcd 提供的命令列工具，用於簡化與 etcd 的互動。
  • 使用 curl 可以直接與 etcd 的 RESTful API 互動。
  • 設定 TTL 可以確保服務在故障或未正常登出時自動從 etcd 中移除。
  • watch 功能允許客戶端即時取得服務資訊的變更通知。

etcd 服務發現流程圖

  graph LR;
    A[服務啟動] --> B[向 etcd 註冊];
    B --> C[設定 TTL];
    C --> D[定期更新 TTL];
    D --> E[服務結束];
    E --> F[自動登出];
    G[客戶端] --> H[查詢 etcd 取得服務資訊];
    H --> I[監控服務變化];

圖表翻譯：

此圖展示了使用 etcd 進行服務發現的基本流程：

  1. 服務啟動後向 etcd 註冊。
  2. 設定 TTL 以確保服務在異常情況下自動登出。
  3. 定期更新 TTL 以維持註冊狀態。
  4. 當服務結束時，自動從 etcd 中移除。
  5. 使用者端透過查詢 etcd 取得服務資訊並監控變化。

服務發現的進階方案：etcd 與 Consul 的應用與實踐

在現代化的微服務架構中，服務發現（Service Discovery）扮演著至關重要的角色。隨著容器技術（如 Docker）的普及，如何有效地管理和協調分散的服務例項，已經成為基礎設施管理中的一大挑戰。本文將探討兩種流行的服務發現工具——etcd 與 Consul，並分析它們在 Docker 環境下的應用場景和最佳實踐。

etcd：分散式鍵值儲存的服務發現解決方案

etcd 是一種分散式鍵值儲存系統，它採用 Raft 共識演算法來確保資料的一致性和高用性。作為一種可靠的服務發現工具，etcd 提供了一個簡單而強大的遠端 API，使得客戶端能夠輕鬆地註冊和發現服務。

etcd 的主要特點

  1. 分散式架構：etcd 支援多節點叢集佈署，能夠容忍部分節點故障，確保系統的持續可用。
  2. 鍵值儲存：etcd 使用簡單的鍵值對來儲存資料，非常適合用於服務註冊和發現。
  3. 租約機制（TTL）：服務例項可以在 etcd 中註冊臨時鍵值對，並透過定期續租來維持其有效性。
  4. 監控與通知：客戶端可以監控特定的鍵或目錄，當資料發生變化時，etcd 會通知客戶端。

etcd 在 Docker 中的應用實踐

在 Docker 環境中，etcd 可以與其他工具（如 HAproxy）結合，實作動態的服務發現和負載平衡。以下是一個典型的架構：

  1. 服務註冊：當 Docker 容器啟動時，它會在 etcd 中註冊一個特定的鍵，標明自己的服務資訊（如 IP 地址和埠）。
  2. 組態更新：一個專門的程式（如 conf.d）會監控 etcd 中的服務鍵值變化，並動態生成 HAproxy 的組態檔案。
  3. 負載平衡：HAproxy 根據最新的組態，將外部請求路由到後端的 Docker 容器中。
  graph LR;
    A[Docker 容器] -->|註冊服務|> B(etcd);
    C(conf.d) -->|監控 etcd|> D[更新 HAproxy 組態];
    D -->|過載組態|> E[HAproxy];
    E -->|路由請求|> A;

圖表翻譯：

此圖示展示了 Docker 容器如何透過 etcd 實作動態服務發現與負載平衡。容器啟動時向 etcd 註冊服務資訊，監控程式根據 etcd 中的變化更新 HAproxy 組態，最終由 HAproxy 將請求路由到對應的容器中。

etcd 的挑戰與改進

儘管 etcd 提供了強大的服務發現功能，但它也引入了一些複雜性，如叢集維運、資料一致性管理等。此外，當服務例項頻繁變更時，etcd 的效能可能會受到影響。因此，在實際應用中，需要根據具體場景進行最佳化。

Consul：多功能的分散式系統工具

Consul 是由 HashiCorp 開發的一款多功能分散式系統工具，它不僅支援服務發現，還具備健康檢查、DNS 解析等多種功能。Consul 以其簡單易用和強大的功能，成為 DevOps 社群中的熱門選擇。

Consul 的主要特點

  1. 多功能整合：Consul 將服務發現、健康檢查、DNS 服務等功能整合在一個工具中，降低了系統的複雜度。
  2. 根據 Raft 的一致性：Consul 使用 Raft 演算法來保證叢集內資料的一致性，支援高可用性的佈署模式。
  3. 健康檢查機制：Consul 能夠對服務例項進行定期的健康檢查，自動將不健康的例項從服務池中移除。
  4. 豐富的客戶端支援：Consul 提供了 HTTP API 和 DNS 介面，使得客戶端能夠方便地與其互動。

Consul 在 Docker 中的應用實踐

Consul 可以與 Docker 結合，提供自動化的服務發現和健康檢查。以下是一個簡單的實踐方案：

  1. 佈署 Consul 叢集：在 Docker 環境中佈署一個由多個 Consul 節點組成的叢集，其中包含 server 和 client 節點。
  2. 服務註冊與健康檢查：Docker 容器在啟動時，向本地的 Consul client 節點註冊服務資訊，並組態健康檢查端點。
  3. 動態服務發現：應用程式透過查詢 Consul 的 DNS 或 HTTP API，取得可用的服務例項列表。
  graph LR;
    A[Docker 容器] -->|註冊服務|> B(Consul Client);
    B -->|同步資料|> C(Consul Server);
    C -->|提供服務列表|> D[應用程式];
    B -->|執行健康檢查|> A;

圖表翻譯：

此圖示展示了 Docker 容器如何透過 Consul 實作服務註冊和健康檢查。容器向本地 Consul Client 節點註冊服務，Consul Client 再將資訊同步到 Consul Server，最終應用程式可以從 Consul 取得可用的服務列表。

隨著容器技術和微服務架構的不斷發展，服務發現工具將繼續演進，以滿足更高的效能和可靠性要求。未來，我們可以期待看到更多創新性的解決方案，它們將更好地整合現有的技術堆疊，為企業級應用提供更強大的支援。

程式碼範例：使用 Consul 進行服務註冊

import consul

# 建立 Consul 客戶端
consul_client = consul.Consul(host='127.0.0.1', port=8500)

# 註冊服務
service_id = 'my_service_1'
service_name = 'my_service'
service_address = '192.168.1.100'
service_port = 8080

consul_client.agent.service.register(
    name=service_name,
    service_id=service_id,
    address=service_address,
    port=service_port,
    check=consul.Check.http(f'http://{service_address}:{service_port}/health', interval='10s')
)

print(f'Service {service_name} registered with ID {service_id}')

內容解密：

此範例程式碼展示瞭如何使用 Python 的 Consul 客戶端函式庫向 Consul 註冊一個服務。首先，建立一個 Consul 客戶端例項，然後呼叫 agent.service.register 方法註冊服務。在註冊過程中，我們提供了服務的基本資訊（如名稱、ID、地址和埠），並組態了一個 HTTP 健康檢查。健康檢查每隔 10 秒會請求指定 URL，以檢查服務是否正常執行。這種機制能夠確保 Consul 能夠及時發現並處理不健康的服務例項，從而提高系統的整體可靠性。

附錄：常見問題與解答

  1. etcd 和 Consul 有什麼主要區別？

    • etcd 主要是一個分散式鍵值儲存系統，而 Consul 則是一個多功能的分散式系統工具，除了服務發現外，還具備健康檢查、DNS 解析等功能。

  2. 如何在 Docker 中佈署 etcd 或 Consul？

    • 可以透過官方提供的 Docker 映象來佈署 etcd 或 Consul。例如，使用 docker run 命令啟動一個 etcd 或 Consul 容器，並組態相關的環境變數和卷掛載。

  3. 如何選擇適合的服務發現工具？

    • 需要綜合考慮系統的複雜度、效能需求、團隊技術堆疊等因素。如果需要一個簡單的分散式鍵值儲存，etcd 可能是一個好的選擇；如果需要更多的功能整合，Consul 可能更合適。

使用 Consul 進行服務發現

Consul 是目前為止最容易使用的自定義服務發現解決方案。它提供了多種方式來將服務註冊到其服務目錄中：

  • 可以透過利用 Consul 的遠端 API 將服務註冊嵌入到應用程式碼中
  • 使用簡單的輔助指令碼或客戶端工具透過遠端 API 註冊服務
  • 建立簡單的服務定義組態檔案，由 Consul 代理在啟動或重新載入時讀取

已註冊的服務可以透過遠端 API 或 Consul 提供的 DNS 進行查詢。這非常方便，因為您不再受限於某一種特定的服務查詢選項，並且無需額外努力即可獲得這兩種選項。此外，Consul 允許您為應用程式服務定義自定義健康檢查。與 ZooKeeper 不同，您不受限於 TCP 會話生命週期；與 etcd 不同，您也不受限於 TTL 值。Consul 代理持續監控本地註冊服務的健康狀況，並在健康檢查失敗時自動將其從服務目錄中移除。

Consul 的優勢

Consul 提供了一個非常全面的服務發現解決方案，需要的努力少得驚人。服務可以透過遠端 API 或 DNS 進行查詢。為了註冊服務，您可以完全避免使用遠端 API，只需使用根據 JSON 的組態檔案；這使得將 Consul 與傳統的組態管理工具整合變得容易。使用 Consul 會在您的基礎設施中引入額外的複雜性，但您會獲得很多好處。與 etcd 相比，Consul 叢集的管理更容易。Consul 在多資料中心擴充套件方面表現良好——事實上，Consul 提供了一些專門用於多資料中心擴充套件的額外工具。Consul 可以用作獨立工具，也可以作為構建複雜分散式系統的構建塊；在它周圍已經形成了一個全新的工具生態系統。在下一章中，我們將介紹一個名為 Registrator 的工具，它提供了一個簡單的自動服務註冊解決方案，用於在 Docker 容器中執行應用程式，並使用 Consul 作為其可插拔的後端之一。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。