Prometheus 資料模型與 PromQL 查詢語言

– 8 分鐘閱讀

Prometheus 的資料模型以時間序列為核心，每個時間序列由指標名稱和標籤集合唯一標識。指標型別包括 Counter、Gauge、Histogram 和 Summary，用於記錄不同型別的監控資料。Counter 代表累計值，Gauge 代表可變值，Histogram 統計資料分佈，Summary 計算百分位數。時序資料函式庫（TSDB）負責儲存和查詢資料，採用 Head Block 記憶體儲存和 WAL 持久化機制，確保資料可靠性。資料寫入流程包含資料序列化、WAL 寫入和 Head Block 更新。PromQL 查詢語言提供豐富的函式和運算子，用於靈活查詢和分析監控資料。

Prometheus 資料模型與 PromQL 詳解

Prometheus 是一個強大的監控系統，其核心功能建立在高效的資料模型之上。本章將深入探討 Prometheus 的資料模型，包括其支援的指標型別、時間序列、樣本等核心概念，並詳細解析其時序資料函式庫（TSDB）的內部工作原理。

指標型別

Prometheus 支援多種指標型別，每種型別都有其特定的用途和特性。

Counter（計數器）

Counter 是一種累積指標，代表某個事件的發生次數或總量。它的值只能增加，不能減少。例如，用於記錄請求總數、錯誤總數等指標。

# 示例：定義一個 Counter 型別的指標
from prometheus_client import Counter

# 建立一個名為 requests_total 的 Counter，用於記錄請求總數
requests_total = Counter('requests_total', 'Total number of requests')

# 每次請求時增加計數
def process_request():
 # 請求處理邏輯
 requests_total.inc() # 增加計數

# 呼叫函式模擬請求處理
process_request()

內容解密：

此程式碼定義了一個名為 requests_total 的 Counter 指標，用於記錄請求的總數。每次有新的請求時，呼叫 inc() 方法增加計數。這種指標適合用於監控系統中的累積事件。

Gauge（測量儀表）

Gauge 代表一個可增可減的指標，用於反映某個可變的值。例如，記憶體使用量、目前的平行請求數等。

# 示例：定義一個 Gauge 型別的指標
from prometheus_client import Gauge

# 建立一個名為 memory_usage 的 Gauge，用於記錄記憶體使用量
memory_usage = Gauge('memory_usage_bytes', 'Current memory usage in bytes')

# 設定目前的記憶體使用量
def update_memory_usage(memory_used):
 memory_usage.set(memory_used)

# 模擬記憶體使用量更新
update_memory_usage(1024 * 1024 * 1024) # 設定為1 GB

內容解密：

此程式碼定義了一個名為 memory_usage 的 Gauge 指標，用於反映目前的記憶體使用量。可以根據實際情況動態設定其值，用於監控系統資源的使用狀況。

Histogram（直方圖）

Histogram 用於表示資料的分佈情況，將資料分到不同的桶（bucket）中統計。例如，請求延遲的分佈情況。

# 示例：定義一個 Histogram 型別的指標
from prometheus_client import Histogram

# 建立一個名為 request_latency 的 Histogram，用於記錄請求延遲
request_latency = Histogram('request_latency_seconds', 'Request latency')

# 在請求處理結束時觀察延遲
def process_request(duration):
 # 請求處理邏輯
 request_latency.observe(duration) # 記錄請求延遲

# 模擬請求處理並記錄延遲
process_request(0.5) # 假設請求延遲為0.5秒

內容解密：

此程式碼定義了一個名為 request_latency 的 Histogram 指標，用於記錄請求的延遲分佈。在每次請求處理完成後，透過 observe() 方法記錄請求的延遲時間。

Summary（摘要）

Summary 類別似於 Histogram，但它直接計算出百分位數的值，而不是透過桶來估算。例如，用於記錄請求延遲的 Summary。

# 示例：定義一個 Summary 型別的指標
from prometheus_client import Summary

# 建立一個名為 request_latency_summary 的 Summary，用於記錄請求延遲的摘要
request_latency_summary = Summary('request_latency_summary_seconds', 'Request latency summary')

# 在請求處理結束時觀察延遲
def process_request(duration):
 # 請求處理邏輯
 request_latency_summary.observe(duration) # 記錄請求延遲

# 模擬請求處理並記錄延遲
process_request(0.5) # 假設請求延遲為0.5秒

內容解密：

此程式碼定義了一個名為 request_latency_summary 的 Summary 指標，用於計算請求延遲的百分位數。在每次請求處理完成後，透過 observe() 方法記錄請求的延遲時間。Summary 會直接計算出指定的百分位數，如中位數、90百分位數等。

時間序列

時間序列是 Prometheus 資料模型的核心。一個指標（metric）可以對應多個時間序列（time series），這些時間序列透過標籤（label）來區分。例如，一個名為 node_cpu_seconds_total 的指標，可以有多個時間序列，如 node_cpu_seconds_total{cpu="0", instance="serverA"} 和 node_cpu_seconds_total{cpu="1", instance="serverA"}。

圖表翻譯：

此圖示展示了指標與時間序列之間的關係。一個指標可以對應多個時間序列，每個時間序列又包含多個樣本。這種結構使得 Prometheus 能夠靈活地記錄和查詢不同維度的監控資料。

樣本

樣本是時間序列中的基本資料單元，由時間戳和對應的值組成。例如，(1633046400,123.45) 表示在某個時間點（Unix 時間戳1633046400）記錄到的值為123.45。

Prometheus 的時序資料函式庫（TSDB）

Prometheus 的 TSDB 是其儲存和查詢資料的核心元件。TSDB 將資料儲存在記憶體和磁碟上，並透過壓縮和索引技術提高查詢效率。

Head Block 與持久化儲存

TSDB 將最近的資料儲存在記憶體中的 Head Block，以實作快速寫入。定期，Head Block 的資料會被寫入磁碟進行持久化儲存。

圖表翻譯：

此圖示展示了 Prometheus TSDB 的資料寫入流程。資料首先寫入記憶體中的 Head Block，然後定期持久化到磁碟。這種設計平衡了寫入效能和資料永續性。

PromQL 查詢語言

PromQL 是 Prometheus 的查詢語言，用於從 TSDB 中檢索和分析資料。以下是一些基本的 PromQL 查詢範例：

# 查詢 CPU 使用率
100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

# 查詢記憶體使用率
(node_memory_MemTotal_bytes - node_memory_MemFree_bytes - node_memory_Cached_bytes) / node_memory_MemTotal_bytes * 100

內容解密：

這些 PromQL 查詢範例展示瞭如何計算 CPU 使用率和記憶體使用率。透過 irate() 函式計算 CPU 的閒置率，然後轉換為使用率。記憶體使用率則透過計算總記憶體、空閒記憶體和快取記憶體來得出。

本章深入探討了 Prometheus 的資料模型和 TSDB，並介紹了 PromQL 查詢語言。透過這些知識，您可以更有效地使用 Prometheus 進行系統監控和效能分析。接下來的章節將進一步探討 Prometheus 的進階功能和最佳實踐。

Prometheus TSDB 資料寫入機制深度解析

TSDB 資料寫入流程與持久化機制

Prometheus 的 Time Series Database (TSDB) 是其高效能資料儲存的核心元件。TSDB 採用先進的資料寫入與持久化機制，確保資料的可靠性和查詢效能。

Head Block 記憶體管理機制

Head Block 是 TSDB 的關鍵記憶體結構，用於暫存新寫入的時序資料。其主要特性包括：

  1. 記憶體資料結構：採用高效的資料結構儲存時序資料
  2. 寫入最佳化：針對高頻寫入操作進行最佳化設計
  3. 資料暫存：臨時儲存新寫入的資料

當 Head Block 的資料量達到預設的閾值時，會觸發資料刷寫（flush）操作，將資料持久化到磁碟上的區塊。

Write-Ahead Log (WAL) 持久化機制

WAL 是 TSDB 資料持久化的關鍵機制，負責在資料寫入 Head Block 的同時進行同步寫入，確保資料的安全性。

@startuml
skinparam backgroundColor #FEFEFE
skinparam componentStyle rectangle

title Prometheus 資料模型與 PromQL 查詢語言

package "機器學習流程" {
    package "資料處理" {
        component [資料收集] as collect
        component [資料清洗] as clean
        component [特徵工程] as feature
    }

    package "模型訓練" {
        component [模型選擇] as select
        component [超參數調優] as tune
        component [交叉驗證] as cv
    }

    package "評估部署" {
        component [模型評估] as eval
        component [模型部署] as deploy
        component [監控維護] as monitor
    }
}

collect --> clean : 原始資料
clean --> feature : 乾淨資料
feature --> select : 特徵向量
select --> tune : 基礎模型
tune --> cv : 最佳參數
cv --> eval : 訓練模型
eval --> deploy : 驗證模型
deploy --> monitor : 生產模型

note right of feature
  特徵工程包含：
  - 特徵選擇
  - 特徵轉換
  - 降維處理
end note

note right of eval
  評估指標：
  - 準確率/召回率
  - F1 Score
  - AUC-ROC
end note

@enduml

圖表剖析：

此時序圖詳細展示了 Prometheus 寫入資料的完整流程：

  1. 資料寫入流程：Prometheus 將新的時序資料樣本寫入 TSDB
  2. 雙重寫入機制：TSDB 同時更新 Head Block 和寫入 WAL
  3. 資料持久化保障：WAL 確保在系統當機時資料不會丟失
  4. 資料一致性：雙重寫入機制保證資料的一致性和可靠性

技術實作細節

  1. WAL 檔案管理：WAL 檔案採用特定的命名規則和輪替機制
  2. 資料還原流程：系統啟動時會自動重放 WAL 中的資料
  3. 效能最佳化：WAL 寫入採用批次處理機制以提升效能

程式碼實作範例

以下為簡化的 WAL 寫入邏輯實作範例（以 Go 語言為基礎）：

// WAL 寫入操作實作
func (w *WAL) Write(record []byte) error {
    // 1. 資料序列化處理
    # 將資料記錄進行序列化處理
    encoded := encodeRecord(record)
    
    // 2. 寫入 WAL 檔案
    # 同步寫入 WAL 檔案
    if err := w.writeToWAL(encoded); err != nil {
        return err
    }
    
    // 3. 同步更新 Head Block 狀態
    # 更新 Head Block 的資料狀態
    w.headBlock.Update(record)
    
    return nil
}

// 資料序列化函式
func encodeRecord(record []byte) []byte {
    // 實作資料編碼邏輯
    # 將資料進行編碼處理
    return encodedData
}

內容解密：

此程式碼範例展示了 WAL 寫入操作的關鍵實作細節：

  1. 資料序列化處理：將原始資料記錄進行編碼處理，以適應 WAL 的儲存格式
  2. 同步寫入機制：將編碼後的資料同步寫入 WAL 檔案，確保資料持久化
  3. Head Block 狀態更新：在寫入 WAL 的同時更新 Head Block 的資料狀態，保持資料一致性
  4. 錯誤處理機制：實作完善的錯誤處理邏輯，確保資料寫入的可靠性

這種雙重寫入機制結合高效的序列化處理，能夠在保證資料永續性的同時，提供優異的寫入效能。

效能最佳化建議

  1. WAL 組態最佳化：根據實際負載調整 WAL 的組態引數
  2. 磁碟 I/O 最佳化：使用高效能儲存裝置提升 WAL 寫入效能
  3. 批次寫入最佳化：適當調整批次寫入的大小以平衡效能和延遲

透過這些最佳化措施，可以進一步提升 Prometheus TSDB 的整體效能和資料處理能力。

從技術架構視角來看，Prometheus 的資料模型和 PromQL 查詢語言展現了其強大的監控能力。透過多種指標型別（Counter、Gauge、Histogram 和 Summary），結合時間序列和標籤，Prometheus 能夠有效捕捉系統各個維度的狀態。其 TSDB 的設計，利用 Head Block 和 WAL 機制，在寫入效能和資料永續性之間取得了良好的平衡。然而，高 cardinality 的指標和過多的標籤可能導致效能瓶頸，需要謹慎設計和管理。對於追求高效能監控的團隊，深入理解 Prometheus 的資料模型和查詢語言至關重要，並需關注資料壓縮策略和查詢最佳化技巧，才能充分釋放 Prometheus 的監控潛力。未來，隨著雲原生應用的普及，預計 Prometheus 將持續最佳化其分散式監控能力和與其他雲原生生態的整合，以應對更複雜的監控需求。

玄貓 BlackCat

玄貓 BlackCat

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。