整合PrometheusLokiTempo打造全面可觀測性

– 12 分鐘閱讀

現代軟體系統日益複雜，僅憑單一監控工具難以掌握全貌。整合Prometheus的指標監控、Loki的日誌聚合和Tempo的分散式追蹤，能有效提升系統可觀測性。本文將探討如何結合這三種工具，並輔以OpenTelemetry和Thanos等技術，構建更全面的監控體系，實作從指標異常到日誌分析再到追蹤排查的完整流程，從而快速定位並解決系統問題。此外，文章也將探討服務水平目標（SLO）的設定與監控，以及如何透過Pyrra等工具實作SLO管理，確保服務的可靠性和穩定性。最後，文章將分析實際應用案例，並提供程式碼範例，闡述如何將這些技術應用於實際場景，並探討可觀測性領域的未來發展趨勢。

技術主題標題

建構全面可觀測性系統：整合Prometheus、Loki與Tempo的實踐

在現代化的軟體開發與維運中，可觀測性已成為確保系統穩定性和效能的關鍵要素。Prometheus作為領先的監控系統，已經成為許多團隊的首選。然而，僅僅依賴Prometheus並不足以全面瞭解系統的運作狀態。本文將深入探討如何結合日誌（Logs）、指標（Metrics）和追蹤（Traces）等可觀測性訊號，以實作對系統的全面監控。

日誌的重要性與侷限性

日誌作為最古老的可觀測性訊號，長期以來一直是開發者和維運團隊的重要參考依據。即使在Prometheus環境當機的情況下，本地日誌仍然可以提供寶貴的除錯資訊。然而，日誌的海量資料和雜亂無章的特性使得查詢特定資訊變得困難。因此，將日誌與其他可觀測性訊號結合使用，可以更有效地定位問題。

# Python程式碼範例：日誌記錄
import logging

# 設定日誌格式
logging.basicConfig(format='%(asctime)s - %(levelname)s - %(message)s', level=logging.INFO)

def 資料處理(data):
 try:
 # 模擬資料處理
 result = data /2
 logging.info(f'資料處理成功: {result}')
 return result
 except Exception as e:
 logging.error(f'資料處理失敗: {e}')
 return None

# 測試資料處理功能
data =10
資料處理(data)

內容解密：

此範例程式碼展示瞭如何使用Python的logging模組來記錄日誌。在資料處理函式中，使用logging.info來記錄成功的處理結果，並使用logging.error來捕捉和記錄錯誤資訊。這種日誌記錄方式有助於在系統出現問題時快速定位錯誤原因。透過日誌的分析，可以進一步最佳化資料處理流程，提高系統的穩定性。

追蹤：新的可觀測性訊號

追蹤（Traces）作為最新的核心可觀測性訊號，具有極高的信噪比，特別是在正確實施取樣（Sampling）的情況下。取樣策略允許團隊只儲存部分追蹤資料，從而減少儲存和查詢的成本。例如，可以組態取樣策略來儲存1%的正常請求追蹤、100%的錯誤請求追蹤，以及特定條件下的請求追蹤。

圖表剖析：

此圖示展示了一個請求處理流程。首先，系統檢查請求的有效性。如果請求有效，則進入處理階段；如果無效，則回報錯誤。無論結果如何，最終都會進入完成階段。此圖清晰地展示了請求處理的邏輯流程和錯誤處理機制。透過分析此流程，可以進一步最佳化請求處理的效率，提高系統的回應速度。

連線可觀測性訊號

要實作真正有效的可觀測性堆積疊，必須將日誌、指標和追蹤等訊號整合在一起。Prometheus的標籤（Labels）機制為這種整合提供了基礎。確保在不同的可觀測性系統中使用一致的後設資料，可以簡化資料查詢和交叉參考。

Loki：日誌聚合系統

Loki是Grafana Labs開發的一款日誌聚合系統，其設計理念深受Prometheus的影響。Loki使用類別似PromQL的LogQL查詢語言，並採用與Prometheus類別似的標籤機制。這使得Loki能夠與Prometheus無縫整合，提供統一的可觀測性檢視。

-- LogQL查詢範例
# 使用LogQL查詢特定服務的日誌
{app="servicex"} |= "error"

內容解密：

此LogQL查詢範例用於檢索標籤為app="servicex"的日誌中包含"error"關鍵字的記錄。透過這種查詢，可以快速定位特定服務的日誌中的錯誤資訊。Loki的查詢語言與PromQL的相似性，使得使用者能夠更容易地在不同的可觀測性資料之間進行切換和查詢。

Tempo：分散式追蹤系統

Tempo是Grafana Labs推出的另一款可觀測性工具，專注於提供可擴充套件的分散式追蹤解決方案。Tempo採用與Loki和Prometheus類別似的設計理念，並使用TraceQL查詢語言。這使得在指標、追蹤和日誌之間進行切換變得更加容易。

圖表剖析：

此序列圖展示了客戶端與伺服器之間的請求處理流程。客戶端傳送請求後，伺服器進行處理並回應結果。此圖清晰地展示了客戶端與伺服器之間的互動流程。透過分析此流程，可以進一步最佳化客戶端與伺服器之間的通訊效率，提高系統的整體效能。

結合Prometheus與其他可觀測性工具

Prometheus的流行推動了其他可觀測性專案的發展，如Loki和Tempo。這些工具共同構成了LGTM（Loki、Grafana、Tempo、Mimir）堆積疊，為團隊提供了全面的可觀測性解決方案。透過使用這些工具，團隊可以實作指標、日誌和追蹤的無縫整合，從而更全面地瞭解系統的執行狀態。

Exemplars：連線指標和追蹤

Prometheus的Exemplars功能允許在指標資料中嵌入追蹤資訊，從而實作指標與追蹤之間的無縫切換。啟用Exemplars功能後，可以在Prometheus中直接跳轉到相關的追蹤資料，進一步提高問題排查的效率。

# 啟用Exemplars功能的Prometheus組態範例
prometheus --enable-feature=exemplar-storage

內容解密：

此命令範例展示瞭如何在啟動Prometheus時啟用Exemplars功能。透過新增--enable-feature=exemplar-storage引數，可以在Prometheus中啟用Exemplars功能，從而實作指標與追蹤資料的關聯查詢。Exemplars功能使得使用者能夠在指標資料中直接存取相關的追蹤資訊，極大地提高了問題排查的效率。

可觀測性中的指標、記錄檔與追蹤

在現代化的系統監控與可觀測性領域中，指標（Metrics）、記錄檔（Logs）與追蹤（Traces）已成為不可或缺的三個核心支柱。本文將深入探討這三者的概念、應用場景以及如何有效整合它們來提升系統的可觀測性。

指標（Metrics）

指標是用於量化系統執行狀態的數值資料，通常用於監控系統的健康狀況和效能。它們可以是計數器（Counters）、儀表（Gauges）、直方圖（Histograms）或摘要（Summaries）等形式。指標的主要功能包括：

  1. 即時監控：透過指標可以即時瞭解系統的執行狀態，如CPU使用率、記憶體佔用率等。
  2. 趨勢分析：透過歷史資料的分析，可以預測未來的系統負載和效能變化。
  3. 告警：當指標超過預設閾值時，可以觸發告警，通知維運人員處理潛在問題。

常見的指標收集工具包括Prometheus、VictoriaMetrics等。

# Python程式碼範例：使用Prometheus客戶端函式庫建立指標
import prometheus_client

# 定義一個簡單的計數器指標
counter = prometheus_client.Counter('my_counter', 'An example counter')

def 處理請求():
 # 每次處理請求時增加計數器
 counter.inc()

# 啟動Prometheus客戶端
if __name__ == '__main__':
 prometheus_client.start_http_server(8000)

內容解密：

此範例程式碼展示瞭如何使用Prometheus客戶端函式庫建立一個簡單的計數器指標。每當處理請求函式被呼叫時，計數器值會遞增。透過啟動HTTP伺服器，Prometheus伺服器可以抓取該指標，用於後續的監控和分析。指標的收集和分析有助於即時監控系統的執行狀態，並及時發現潛在問題。

記錄檔（Logs）

記錄檔是系統執行過程中輸出的文字資料，用於記錄事件、錯誤和除錯資訊。記錄檔的主要功能包括：

  1. 問題排查：透過分析記錄檔，可以定位系統中的錯誤和異常。
  2. 安全稽核：記錄檔可用於跟蹤系統的安全事件和使用者操作。
  3. 除錯：開發人員可以透過記錄檔除錯應用程式，找出問題根源。

常見的記錄檔管理工具包括ELK Stack（Elasticsearch, Logstash, Kibana）、Loki等。

# Loki組態範例
loki.yaml: |
 auth:
 enabled: false
 ingester:
 lifecycler:
 ring:
 kvstore:
 store: inmemory
 replication_factor:1
 storage_config:
 boltdb:
 path: /data/loki/index.db
 schema_config:
 configs:
 - from:2020-10-24
 store: boltdb
 object_store: filesystem
 schema: v11
 prefix: index_

內容解密：

此組態範例展示瞭如何設定Loki，一個高效的記錄檔管理系統。組態中定義了資料儲存方式、索引字首等關鍵引數。Loki透過將記錄檔與指標進行關聯，極大地提升了可觀測性。Loki的設計使得記錄檔的儲存和查詢更加高效，並能夠與Prometheus等工具無縫整合。

追蹤（Traces）

追蹤用於記錄請求在分散式系統中的完整生命週期，幫助開發人員瞭解請求的處理過程和效能瓶頸。追蹤的主要功能包括：

  1. 請求鏈路追蹤：顯示請求在各個服務之間的呼叫關係和耗時。
  2. 效能分析：透過追蹤資料，可以分析系統的效能瓶頸。
  3. 問題定位：在分散式系統中，追蹤可以幫助快速定位故障點。

常見的追蹤工具包括Jaeger、Zipkin等。

圖表剖析：

此圖示展示了一個請求在分散式系統中的處理流程。從「請求開始」到「請求結束」，請求依次經過服務A、B和C進行處理，最終完成請求。透過追蹤系統，可以詳細記錄每個階段的耗時，幫助最佳化系統效能。追蹤資料的分析有助於開發人員瞭解系統的瓶頸，並進行針對性的最佳化。

整合指標、記錄檔與追蹤

要實作全面的可觀測性，必須將指標、記錄檔和追蹤進行整合。以下是一些常見的整合方式：

  1. 關聯分析：透過將指標、記錄檔和追蹤資料進行關聯，可以更全面地瞭解系統的執行狀態。
  2. 統一檢視：使用統一的可觀測性平臺，將三類別資料進行集中展示，提供全方位的系統檢視。
  3. 自動化告警：根據指標和記錄檔資料，觸發告警，並結合追蹤資料進行問題排查。
# Python程式碼範例：將指標與追蹤資料進行關聯
import opentelemetry.trace
from prometheus_client import Counter

# 初始化Tracer
tracer = opentelemetry.trace.get_tracer(__name__)

# 定義一個計數器
request_counter = Counter('requests_total', 'Total number of requests')

def 處理請求():
 # 開始一個追蹤Span
 with tracer.start_span("處理請求") as span:
 # 模擬請求處理邏輯
 request_counter.inc() # 增加請求計數器
 # 處理請求...
 span.set_status(opentelemetry.trace.StatusCode.OK)

內容解密：

此範例展示瞭如何將Prometheus指標與OpenTelemetry追蹤資料進行整合。透過在請求處理過程中同時更新計數器和建立追蹤Span，可以實作指標與追蹤資料的關聯分析，從而更精確地監控和分析系統效能。整合指標、記錄檔和追蹤資料，可以提供更全面的可觀測性，幫助團隊快速定位和解決問題。

現代可觀察性系統架構設計

系統架構與元件整合

現代可觀察性系統的設計需要考慮多個層面，包括資料收集、處理、儲存和視覺化。Thanos 作為一個高效的長期儲存方案，為大規模監控資料提供了可靠的解決方案。

Thanos 系統架構圖

@startuml
skinparam backgroundColor #FEFEFE
skinparam defaultTextAlignment center
skinparam rectangleBackgroundColor #F5F5F5
skinparam rectangleBorderColor #333333
skinparam arrowColor #333333

title Thanos 系統架構圖

rectangle "指標資料" as node1
rectangle "資料轉發" as node2
rectangle "查詢介面" as node3
rectangle "查詢路由" as node4
rectangle "視覺化" as node5
rectangle "長期儲存" as node6

node1 --> node2
node2 --> node3
node3 --> node4
node4 --> node5
node5 --> node6

@enduml

圖表剖析：

此架構圖展示了 Thanos 系統的核心元件及其互動關係。Prometheus 負責收集監控資料，透過 Thanos Sidecar 將資料轉發到 Store 元件。Thanos Query 提供統一的查詢介面，使用者可以透過 Grafana 等視覺化工具查詢和分析資料。物件儲存則負責長期儲存歷史資料。

OpenTelemetry 統一可觀察性方案

OpenTelemetry 作為新一代的可觀察性標準，為指標、日誌和追蹤資料的收集和管理提供了統一的解決方案。

OpenTelemetry 資料處理流程

@startuml
note
  無法自動轉換的 Plantuml 圖表
  請手動檢查和調整
@enduml

圖表剖析：

此時序圖詳細展示了 OpenTelemetry 的資料處理流程。應用程式首先將遙測資料傳送到 OTEL Collector，接著資料經過處理器的轉換和過濾，最後由 Exporter 將資料匯出到後端監控系統，實作了資料收集和處理的標準化流程。

服務水平目標（SLO）實踐

SLO 是衡量服務品質的重要指標。透過 Pyrra 實作 SLO，可以有效監控和評估服務的可靠性。

SLO 監控架構

@startuml
skinparam backgroundColor #FEFEFE
skinparam defaultTextAlignment center
skinparam rectangleBackgroundColor #F5F5F5
skinparam rectangleBorderColor #333333
skinparam arrowColor #333333

title SLO 監控架構

rectangle "組態" as node1
rectangle "指標收集" as node2
rectangle "資料分析" as node3
rectangle "警示觸發" as node4
rectangle "通知傳送" as node5

node1 --> node2
node2 --> node3
node3 --> node4
node4 --> node5

@enduml

圖表剖析：

此架構圖展示了根據 Pyrra 的 SLO 監控流程。首先定義 SLO 指標並組態到 Pyrra 系統中，Prometheus 負責收集相關指標資料並進行評估。當 SLO 不滿足預設目標時，系統會觸發警示並通知維運團隊，實作主動的服務品質監控。

實際應用案例分析

某大型金融機構採用了根據 Thanos 和 OpenTelemetry 的可觀察性解決方案，有效提升了系統監控的全面性和準確性。

系統實施程式碼範例

# OpenTelemetry 自動儀表化範例
from opentelemetry import trace
from opentelemetry.instrumentation.requests import RequestsInstrumentor

# 初始化追蹤器
tracer = trace.get_tracer(__name__)

# 對 requests 函式庫進行儀表化
RequestsInstrumentor().instrument()

# 使用範例
with tracer.start_as_current_span("http_request"):
    response = requests.get("https://api.example.com/data")
    print(response.status_code)

內容解密：

此範例展示瞭如何使用 OpenTelemetry 對應用程式進行自動儀表化。透過對 requests 函式庫的儀表化，可以自動收集 HTTP 請求的追蹤資料，為後續的效能分析和問題診斷提供基礎資料。

系統效能最佳化實踐

在實施可觀察性解決方案的過程中，效能最佳化是至關重要的一環。合理的組態和最佳化可以確保系統在高負載下仍能穩定執行。

Collector 組態最佳化範例

# 高效能 Collector 組態
receivers:
  otlp:
    protocol: grpc
    max_recv_msg_size: 4194304
exporters:
  prometheus:
    endpoint: "0.0.0.0:8889"
    send_timestamps: true
service:
  pipelines:
    metrics:
      receivers: [otlp]
      exporters: [prometheus]

內容解密：

此組態範例展示瞭如何最佳化 OpenTelemetry Collector 的效能。透過調整 max_recv_msg_size 引數和使用 gRPC 協定，可以有效提升資料接收的效率。同時，啟用 send_timestamps 可以提高時間戳記的精確度，為後續的資料分析提供更準確的基礎。

未來發展趨勢

可觀察性領域正在快速發展，未來將出現更多創新技術和解決方案。主要趨勢包括：

  1. AI 驅動的智慧監控：利用機器學習技術實作自動化的異常檢測和根因分析。
  2. 統一的可觀察性平臺：整合指標、日誌和追蹤資料，提供全方位的系統檢視。
  3. 自動化修復機制：根據可觀察性資料實作自動化的故障修復和最佳化。

這些發展將進一步提升系統的可觀察性和可控性，為構建更可靠的現代 IT 系統奠定堅實基礎。

隨著微服務架構和雲原生應用的普及，建構全面的可觀測性系統已成為必然趨勢。本文深入探討瞭如何整合 Prometheus、Loki 和 Tempo，實作指標、日誌和追蹤資料的統一監控和分析。透過實踐案例分析和程式碼範例，闡述瞭如何利用 OpenTelemetry 和 Thanos 等工具提升系統可觀測性的最佳實務。然而，構建和維護一套完整高效的可觀測性系統仍面臨挑戰，例如高基數指標的處理、分散式追蹤的成本控制以及告警策略的精細化管理。技術團隊需要深入理解自身業務需求，選擇合適的工具和策略，並持續最佳化系統架構以應對日益增長的資料規模和複雜性。玄貓認為，可觀測性並非一蹴而就，而是一個持續迭代的過程。隨著 AI 驅動的智慧監控和自動化技術的發展，可觀測性系統將朝著更智慧、更自動化的方向演進，為企業提供更精準的系統洞察和更 proactive 的風險管理能力。

玄貓 BlackCat

玄貓 BlackCat

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。