Prometheus 監控節點容器與 Grafana 視覺化整合實戰指南

# Metadata 指標範例
# 這個指標記錄了主機的角色和所在資料中心
metadata{role="docker_server",datacenter="TW-TPE"} 1
metadata{role="web_server",datacenter="TW-TXG"} 1
metadata{role="database_server",datacenter="US-NYC"} 1

# 查詢所有位於台灣資料中心的主機
# 使用標籤選擇器來過濾符合條件的 metadata 指標
metadata{datacenter=~"TW-.*"}

# 查詢非台灣資料中心的主機
# 使用不等於運算子來排除特定資料中心
metadata{datacenter!~"TW-.*"}

# 查詢特定角色的主機
# 組合多個標籤條件來精確定位目標主機
metadata{role="docker_server",datacenter="TW-TPE"}

# 查詢所有 Docker 服務狀態為 active 且位於台灣資料中心的主機
# 這是一個典型的一對一向量比對範例
node_systemd_unit_state{name="docker.service",state="active"} == 1
and on (instance, job)
metadata{datacenter=~"TW-.*"}

# 使用 ignoring 修飾符的等效查詢
# 忽略 name 和 state 標籤,僅根據 instance 和 job 進行比對
node_systemd_unit_state{name="docker.service",state="active"} == 1
and ignoring (name, state)
metadata{datacenter=~"TW-.*"}

# 多對一比對範例
# 計算每個主機的 CPU 使用率,並保留其 metadata 標籤資訊
(
  100 - (
    avg by (instance) (
      rate(node_cpu_seconds_total{mode="idle"}[5m])
    ) * 100
  )
)
* on (instance) group_left(datacenter, role)
metadata

# cAdvisor 版本資訊指標範例
# 這個指標透過標籤提供了豐富的環境資訊
cadvisor_version_info{
  cadvisorRevision="1a2b3c4",
  cadvisorVersion="v0.47.0",
  dockerVersion="24.0.7",
  kernelVersion="5.15.0-91-generic",
  osVersion="Ubuntu 22.04.3 LTS"
} 1

# 查詢運行在 Docker 24.x 版本上的容器 CPU 使用率
# 並保留版本資訊標籤
rate(container_cpu_usage_seconds_total[5m])
* on (instance) group_left(dockerVersion, osVersion)
cadvisor_version_info{dockerVersion=~"24\\..*"}

# 統計不同 Node Exporter 版本的主機數量
count by (version) (node_exporter_build_info)

# 查詢仍在使用舊版 Node Exporter 的主機
node_exporter_build_info{version!~"v1\\.7\\..*"}

# Prometheus 全域配置範例
# 定義了抓取間隔和規則評估間隔
global:
  # 指標抓取間隔設定為 15 秒
  # 這個間隔決定了 Prometheus 多久向目標發起一次抓取請求
  scrape_interval: 15s
  
  # 規則評估間隔同樣設定為 15 秒
  # 這個間隔決定了記錄規則和告警規則的執行頻率
  # 建議與 scrape_interval 保持一致或略長
  evaluation_interval: 15s
  
  # 外部標籤配置
  # 這些標籤會附加到所有時間序列和告警上
  external_labels:
    cluster: 'taiwan-prod'
    environment: 'production'

# 在 prometheus.yml 中引用規則檔案
# 這個配置告訴 Prometheus 載入哪些規則檔案
rule_files:
  # 節點監控相關的記錄規則
  - "rules/node_rules.yml"
  
  # 容器監控相關的記錄規則
  - "rules/container_rules.yml"
  
  # 應用程式監控相關的記錄規則
  - "rules/application_rules.yml"
  
  # 告警規則(與記錄規則分開管理)
  - "rules/alerts.yml"

# 節點監控記錄規則的完整範例
# 這個檔案定義了一組用於監控節點效能的記錄規則

groups:
  # 規則組名稱,用於組織相關的規則
  - name: node_recording_rules
    
    # 規則組的評估間隔
    # 如果不指定,則使用全域的 evaluation_interval
    interval: 15s
    
    # 規則陣列,包含多個記錄規則
    rules:
      # 第一個規則:計算 CPU 使用率
      - record: instance:node_cpu_utilization:rate5m
        # PromQL 表達式定義了如何計算這個指標
        # 1. rate() 計算 5 分鐘內的每秒變化率
        # 2. mode="idle" 選擇 CPU 閒置時間
        # 3. avg by (instance) 對每個實例計算平均值
        # 4. 1 - idle_rate 得到使用率
        # 5. * 100 轉換為百分比
        expr: |
          (
            1 - avg by (instance) (
              rate(node_cpu_seconds_total{mode="idle"}[5m])
            )
          ) * 100
        
        # 為新時間序列添加額外標籤
        labels:
          metric_type: "utilization"
          resource: "cpu"
      
      # 第二個規則:計算記憶體使用率
      - record: instance:node_memory_utilization:ratio
        # 記憶體使用率計算邏輯:
        # 1. 取得總記憶體容量
        # 2. 減去可用記憶體(包括空閒、快取和緩衝區)
        # 3. 除以總容量得到使用率
        # 4. 乘以 100 轉換為百分比
        expr: |
          (
            (
              node_memory_MemTotal_bytes
              - node_memory_MemFree_bytes
              - node_memory_Cached_bytes
              - node_memory_Buffers_bytes
            )
            / node_memory_MemTotal_bytes
          ) * 100
        
        labels:
          metric_type: "utilization"
          resource: "memory"
      
      # 第三個規則:計算根檔案系統使用率
      - record: instance:node_filesystem_utilization:ratio
        # 檔案系統使用率計算:
        # 1. 選擇掛載在根目錄的檔案系統
        # 2. 計算已使用空間(總容量減去可用空間)
        # 3. 除以總容量得到使用率
        # 4. 乘以 100 轉換為百分比
        expr: |
          (
            (
              node_filesystem_size_bytes{mountpoint="/"}
              - node_filesystem_avail_bytes{mountpoint="/"}
            )
            / node_filesystem_size_bytes{mountpoint="/"}
          ) * 100
        
        labels:
          metric_type: "utilization"
          resource: "filesystem"
          mountpoint: "root"
      
      # 第四個規則:計算網路流量速率
      - record: instance:node_network_receive:rate5m
        # 網路接收流量速率計算:
        # 1. rate() 計算 5 分鐘內的每秒變化率
        # 2. sum by (instance) 對每個實例的所有網卡求和
        # 3. 結果單位為 bytes/second
        expr: |
          sum by (instance) (
            rate(node_network_receive_bytes_total[5m])
          )
        
        labels:
          metric_type: "rate"
          resource: "network"
          direction: "receive"
      
      # 第五個規則:計算網路傳送流量速率
      - record: instance:node_network_transmit:rate5m
        expr: |
          sum by (instance) (
            rate(node_network_transmit_bytes_total[5m])
          )
        
        labels:
          metric_type: "rate"
          resource: "network"
          direction: "transmit"

# 跨資料中心聚合的記錄規則範例
groups:
  - name: datacenter_aggregation_rules
    interval: 30s
    
    rules:
      # 按資料中心聚合 CPU 使用率
      - record: datacenter:node_cpu_utilization:avg
        # 這個規則結合了記錄規則和 metadata 指標
        # 1. 使用之前建立的 CPU 使用率記錄規則
        # 2. 透過向量比對附加 datacenter 標籤
        # 3. 按照 datacenter 進行聚合計算平均值
        expr: |
          avg by (datacenter) (
            instance:node_cpu_utilization:rate5m
            * on (instance) group_left(datacenter)
            metadata
          )
        
        labels:
          aggregation_level: "datacenter"
          metric_type: "utilization"
          resource: "cpu"
      
      # 按資料中心聚合記憶體使用率
      - record: datacenter:node_memory_utilization:avg
        expr: |
          avg by (datacenter) (
            instance:node_memory_utilization:ratio
            * on (instance) group_left(datacenter)
            metadata
          )
        
        labels:
          aggregation_level: "datacenter"
          metric_type: "utilization"
          resource: "memory"
      
      # 計算資料中心總體健康分數
      # 綜合考慮 CPU、記憶體和磁碟使用率
      - record: datacenter:health_score:composite
        expr: |
          (
            (100 - datacenter:node_cpu_utilization:avg) * 0.4 +
            (100 - datacenter:node_memory_utilization:avg) * 0.3 +
            (100 - avg by (datacenter) (
              instance:node_filesystem_utilization:ratio
              * on (instance) group_left(datacenter)
              metadata
            )) * 0.3
          )
        
        labels:
          aggregation_level: "datacenter"
          metric_type: "composite"
          resource: "health"

# Ubuntu/Debian 系統安裝 Grafana 的完整步驟

# 步驟 1: 安裝必要的依賴套件
# 這些工具用於後續的倉庫設定和套件驗證
sudo apt-get install -y apt-transport-https software-properties-common wget

# 步驟 2: 新增 Grafana GPG 金鑰
# 這個金鑰用於驗證套件的真實性和完整性
# 確保下載的套件未被篡改
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -

# 步驟 3: 新增 Grafana 穩定版本倉庫
# 將 Grafana 官方倉庫加入系統的套件來源清單
# 使用穩定版本倉庫確保系統的穩定性
echo "deb https://packages.grafana.com/oss/deb stable main" | \
  sudo tee -a /etc/apt/sources.list.d/grafana.list

# 步驟 4: 更新套件索引
# 從新加入的倉庫獲取最新的套件資訊
sudo apt-get update

# 步驟 5: 安裝 Grafana
# 使用 apt-get 安裝 Grafana 套件
# 這會自動處理所有依賴關係
sudo apt-get install -y grafana

# 步驟 6: 啟用 Grafana 服務
# 設定 Grafana 在系統啟動時自動啟動
sudo systemctl enable grafana-server

# 步驟 7: 啟動 Grafana 服務
# 立即啟動 Grafana 服務
sudo systemctl start grafana-server

# 步驟 8: 檢查服務狀態
# 驗證 Grafana 服務是否正常運行
sudo systemctl status grafana-server

# 步驟 9: 檢視 Grafana 日誌
# 如果遇到問題,可以透過日誌排查
sudo journalctl -u grafana-server -f

# Red Hat/CentOS/Fedora 系統安裝 Grafana 的完整步驟

# 步驟 1: 匯入 Grafana GPG 金鑰
# 用於驗證 RPM 套件的簽名
sudo rpm --import https://packages.grafana.com/gpg.key

# 步驟 2: 建立 Grafana Yum 倉庫配置檔案
# 在 /etc/yum.repos.d/ 目錄下建立倉庫定義檔案
sudo tee /etc/yum.repos.d/grafana.repo << 'EOF'
# Grafana 官方穩定版本倉庫配置
[grafana]
# 倉庫名稱,顯示在套件管理工具中
name=grafana

# 倉庫的基礎 URL
# $basearch 會自動替換為系統架構(如 x86_64)
baseurl=https://packages.grafana.com/oss/rpm

# 啟用倉庫 GPG 金鑰檢查
# 這是重要的安全機制
repo_gpgcheck=1

# 啟用此倉庫
enabled=1

# 啟用個別套件的 GPG 檢查
gpgcheck=1

# GPG 金鑰的位置
# 第一個是 PackageCloud 的金鑰
# 第二個是 Grafana 的官方金鑰
gpgkey=https://packages.grafana.com/gpg.key

# SSL 驗證設定
# 確保倉庫連線的安全性
sslverify=1

# SSL CA 憑證的位置
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
EOF

# 步驟 3: 清除 Yum 快取
# 確保使用最新的倉庫資訊
sudo yum clean all

# 步驟 4: 安裝 Grafana
# 使用 yum 或 dnf 安裝 Grafana 套件
sudo yum install -y grafana

# 或者在較新的系統上使用 dnf
# sudo dnf install -y grafana

# 步驟 5: 重新載入 systemd 配置
# 確保 systemd 識別新安裝的服務
sudo systemctl daemon-reload

# 步驟 6: 啟用 Grafana 服務
sudo systemctl enable grafana-server

# 步驟 7: 啟動 Grafana 服務
sudo systemctl start grafana-server

# 步驟 8: 配置防火牆規則
# 開放 Grafana 的預設埠 3000
sudo firewall-cmd --permanent --add-port=3000/tcp
sudo firewall-cmd --reload

# 步驟 9: 檢視服務狀態
sudo systemctl status grafana-server

# Windows 系統安裝 Grafana 的完整步驟

# 步驟 1: 建立 Grafana 安裝目錄
# 選擇一個適當的位置存放 Grafana 檔案
New-Item -ItemType Directory -Path "C:\Program Files\Grafana" -Force
Set-Location "C:\Program Files\Grafana"

# 步驟 2: 下載 Grafana Windows 版本
# 從官方網站下載最新的穩定版本
# 建議使用 PowerShell 的 Invoke-WebRequest 或直接從瀏覽器下載
# URL 格式: https://dl.grafana.com/oss/release/grafana-{version}.windows-amd64.zip
$grafanaVersion = "10.2.2"
$downloadUrl = "https://dl.grafana.com/oss/release/grafana-$grafanaVersion.windows-amd64.zip"
$zipFile = "grafana-$grafanaVersion.windows-amd64.zip"

# 下載檔案
Invoke-WebRequest -Uri $downloadUrl -OutFile $zipFile

# 步驟 3: 解壓縮 Grafana
# 使用 PowerShell 內建的解壓縮功能
Expand-Archive -Path $zipFile -DestinationPath "." -Force

# 移動檔案到當前目錄
Move-Item -Path "grafana-$grafanaVersion\*" -Destination "." -Force
Remove-Item -Path "grafana-$grafanaVersion" -Recurse -Force
Remove-Item -Path $zipFile -Force

# 步驟 4: 建立自訂配置檔案
# Grafana 的配置透過 custom.ini 檔案進行客製化
$customIniPath = "conf\custom.ini"

# 建立配置檔案並設定基本參數
@"
# Grafana 自訂配置檔案
# 此檔案覆寫 defaults.ini 中的預設設定

[server]
# HTTP 協定設定
protocol = http

# 監聽位址
# 0.0.0.0 表示監聽所有網路介面
http_addr = 0.0.0.0

# HTTP 埠設定
# 更改為 8080 避免 Windows 上的權限問題
http_port = 8080

# 根 URL 路徑
# 如果 Grafana 不在根路徑,需要設定此選項
# root_url = %(protocol)s://%(domain)s:%(http_port)s/grafana/

[database]
# 資料庫類型
# 預設使用 SQLite,適合小型部署
type = sqlite3

# SQLite 資料庫檔案路徑
path = data\grafana.db

[security]
# 管理員使用者的預設密碼
# 首次登入後應立即更改
admin_password = admin

# 密碼雜湊演算法
password_hashing_algo = argon2

[users]
# 允許使用者註冊
# 生產環境建議設為 false
allow_sign_up = false

[auth.anonymous]
# 啟用匿名存取
# 生產環境建議設為 false
enabled = false

[log]
# 日誌模式
# 可選: console, file, syslog
mode = console file

# 日誌等級
# 可選: debug, info, warn, error, critical
level = info

[paths]
# 資料目錄
data = data

# 日誌目錄
logs = data\log

# 外掛目錄
plugins = data\plugins

[alerting]
# 啟用告警功能
enabled = true
"@ | Out-File -FilePath $customIniPath -Encoding UTF8

# 步驟 5: 將 Grafana 加入系統 PATH
# 這樣可以在任何目錄執行 Grafana 命令
$grafanaPath = "C:\Program Files\Grafana\bin"
$currentPath = [Environment]::GetEnvironmentVariable("Path", "Machine")
if ($currentPath -notlike "*$grafanaPath*") {
    [Environment]::SetEnvironmentVariable(
        "Path",
        "$currentPath;$grafanaPath",
        "Machine"
    )
}

# 更新當前 PowerShell 會話的 PATH
$env:Path += ";$grafanaPath"

# 步驟 6: 建立 Windows 服務
# 使用 NSSM (Non-Sucking Service Manager) 將 Grafana 註冊為服務
# 首先需要下載並安裝 NSSM: https://nssm.cc/download

# 如果已安裝 NSSM,可以使用以下命令建立服務
# nssm install Grafana "C:\Program Files\Grafana\bin\grafana-server.exe"
# nssm set Grafana AppDirectory "C:\Program Files\Grafana"
# nssm set Grafana AppParameters "--config=C:\Program Files\Grafana\conf\custom.ini"
# nssm set Grafana DisplayName "Grafana Server"
# nssm set Grafana Description "Grafana 監控資料視覺化平台"
# nssm set Grafana Start SERVICE_AUTO_START

# 步驟 7: 啟動 Grafana
# 如果設定為服務,使用以下命令
# Start-Service Grafana

# 或者直接執行 Grafana 程序
Start-Process -FilePath "bin\grafana-server.exe" -WorkingDirectory "C:\Program Files\Grafana"

# 步驟 8: 配置 Windows 防火牆規則
# 開放 Grafana 的埠供外部存取
New-NetFirewallRule -DisplayName "Grafana HTTP" `
    -Direction Inbound `
    -LocalPort 8080 `
    -Protocol TCP `
    -Action Allow `
    -Description "允許存取 Grafana Web 介面"

Write-Host "Grafana 安裝完成!"
Write-Host "請透過瀏覽器存取: http://localhost:8080"
Write-Host "預設帳號: admin"
Write-Host "預設密碼: admin"

# macOS 系統使用 Homebrew 安裝 Grafana 的完整步驟

# 步驟 1: 確認已安裝 Homebrew
# 如果尚未安裝 Homebrew,請先執行以下命令
# /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

# 步驟 2: 更新 Homebrew
# 確保 Homebrew 和套件資訊是最新的
brew update

# 步驟 3: 安裝 Grafana
# Homebrew 會自動下載並安裝 Grafana 及其依賴
brew install grafana

# 步驟 4: 檢視 Grafana 的安裝資訊
# 這會顯示配置檔案位置、日誌位置等資訊
brew info grafana

# 步驟 5: 編輯配置檔案(可選)
# Grafana 的配置檔案位於 /usr/local/etc/grafana/grafana.ini
# 可以根據需求進行客製化設定
# nano /usr/local/etc/grafana/grafana.ini

# 步驟 6: 使用 Homebrew Services 啟動 Grafana
# 這種方式會將 Grafana 設定為開機自動啟動
brew services start grafana

# 或者手動啟動 Grafana 伺服器
# 這種方式不會設定為開機啟動
# grafana-server \
#   --config=/usr/local/etc/grafana/grafana.ini \
#   --homepath=/usr/local/share/grafana

# 步驟 7: 檢查 Grafana 服務狀態
brew services list | grep grafana

# 步驟 8: 檢視 Grafana 日誌
# 日誌檔案位於 /usr/local/var/log/grafana/
tail -f /usr/local/var/log/grafana/grafana.log

# 步驟 9: 停止 Grafana 服務(需要時)
# brew services stop grafana

# 步驟 10: 重新啟動 Grafana 服務(需要時)
# brew services restart grafana

# 步驟 11: 解除安裝 Grafana(需要時)
# brew services stop grafana
# brew uninstall grafana

# Grafana 資料來源配置範例(以 YAML 格式表示概念)
# 實際配置透過 Grafana Web UI 進行

datasources:
  # Prometheus 資料來源配置
  - name: Prometheus-Production
    # 資料來源類型
    type: prometheus
    
    # 存取模式
    # proxy: Grafana 伺服器代理存取(推薦)
    # direct: 瀏覽器直接存取
    access: proxy
    
    # Prometheus 伺服器 URL
    # 如果 Grafana 和 Prometheus 在同一主機上,可以使用 localhost
    # 否則使用實際的主機名稱或 IP 位址
    url: http://localhost:9090
    
    # 基本認證設定(如果 Prometheus 啟用了認證)
    basicAuth: false
    # basicAuthUser: admin
    # basicAuthPassword: password
    
    # 預設設定為預設資料來源
    # 建立新儀表板時會自動選擇此資料來源
    isDefault: true
    
    # JSON 資料設定
    jsonData:
      # HTTP 方法
      # GET 或 POST,大型查詢建議使用 POST
      httpMethod: POST
      
      # 查詢逾時設定(秒)
      timeout: 60
      
      # 自訂查詢參數
      # 這些參數會附加到所有查詢請求中
      customQueryParameters: ""
      
      # 時間間隔設定
      # 用於控制查詢的解析度
      timeInterval: "15s"
    
    # 版本號
    # 用於追蹤配置變更
    version: 1
    
    # 唯讀模式
    # 設定為 true 時無法透過 UI 修改
    editable: true

{
  "dashboard": {
    "title": "Node Exporter 完整監控儀表板",
    "description": "展示主機資源使用率、網路流量和系統狀態的綜合儀表板",
    "tags": ["prometheus", "node-exporter", "infrastructure"],
    "timezone": "Asia/Taipei",
    "refresh": "30s",
    "time": {
      "from": "now-6h",
      "to": "now"
    },
    "panels": [
      {
        "id": 1,
        "title": "CPU 使用率",
        "type": "timeseries",
        "gridPos": {
          "x": 0,
          "y": 0,
          "w": 12,
          "h": 8
        },
        "targets": [
          {
            "expr": "instance:node_cpu_utilization:rate5m",
            "legendFormat": "{{instance}}",
            "refId": "A"
          }
        ],
        "fieldConfig": {
          "defaults": {
            "unit": "percent",
            "min": 0,
            "max": 100,
            "thresholds": {
              "mode": "absolute",
              "steps": [
                {"value": 0, "color": "green"},
                {"value": 70, "color": "yellow"},
                {"value": 90, "color": "red"}
              ]
            }
          }
        }
      },
      {
        "id": 2,
        "title": "記憶體使用率",
        "type": "timeseries",
        "gridPos": {
          "x": 12,
          "y": 0,
          "w": 12,
          "h": 8
        },
        "targets": [
          {
            "expr": "instance:node_memory_utilization:ratio",
            "legendFormat": "{{instance}}",
            "refId": "A"
          }
        ],
        "fieldConfig": {
          "defaults": {
            "unit": "percent",
            "min": 0,
            "max": 100,
            "thresholds": {
              "mode": "absolute",
              "steps": [
                {"value": 0, "color": "green"},
                {"value": 80, "color": "yellow"},
                {"value": 95, "color": "red"}
              ]
            }
          }
        }
      },
      {
        "id": 3,
        "title": "磁碟使用率",
        "type": "gauge",
        "gridPos": {
          "x": 0,
          "y": 8,
          "w": 8,
          "h": 6
        },
        "targets": [
          {
            "expr": "instance:node_filesystem_utilization:ratio",
            "legendFormat": "{{instance}}",
            "refId": "A"
          }
        ],
        "fieldConfig": {
          "defaults": {
            "unit": "percent",
            "min": 0,
            "max": 100,
            "thresholds": {
              "mode": "absolute",
              "steps": [
                {"value": 0, "color": "green"},
                {"value": 75, "color": "yellow"},
                {"value": 90, "color": "red"}
              ]
            }
          }
        }
      },
      {
        "id": 4,
        "title": "網路流量",
        "type": "timeseries",
        "gridPos": {
          "x": 8,
          "y": 8,
          "w": 16,
          "h": 6
        },
        "targets": [
          {
            "expr": "instance:node_network_receive:rate5m",
            "legendFormat": "{{instance}} - 接收",
            "refId": "A"
          },
          {
            "expr": "instance:node_network_transmit:rate5m",
            "legendFormat": "{{instance}} - 傳送",
            "refId": "B"
          }
        ],
        "fieldConfig": {
          "defaults": {
            "unit": "Bps",
            "decimals": 2
          }
        }
      },
      {
        "id": 5,
        "title": "系統負載",
        "type": "stat",
        "gridPos": {
          "x": 0,
          "y": 14,
          "w": 8,
          "h": 4
        },
        "targets": [
          {
            "expr": "node_load1",
            "legendFormat": "1分鐘",
            "refId": "A"
          },
          {
            "expr": "node_load5",
            "legendFormat": "5分鐘",
            "refId": "B"
          },
          {
            "expr": "node_load15",
            "legendFormat": "15分鐘",
            "refId": "C"
          }
        ]
      },
      {
        "id": 6,
        "title": "主機資訊",
        "type": "table",
        "gridPos": {
          "x": 8,
          "y": 14,
          "w": 16,
          "h": 4
        },
        "targets": [
          {
            "expr": "metadata * on (instance) group_left(role, datacenter) node_exporter_build_info",
            "format": "table",
            "refId": "A"
          }
        ],
        "transformations": [
          {
            "id": "organize",
            "options": {
              "excludeByName": {
                "Time": true,
                "Value": true
              },
              "indexByName": {
                "instance": 0,
                "datacenter": 1,
                "role": 2,
                "version": 3
              },
              "renameByName": {
                "instance": "主機",
                "datacenter": "資料中心",
                "role": "角色",
                "version": "Exporter 版本"
              }
            }
          }
        ]
      }
    ]
  }
}

# Grafana 儀表板變數配置範例

variables:
  # 資料中心選擇變數
  - name: datacenter
    type: query
    label: "資料中心"
    # 從 Prometheus 查詢所有唯一的資料中心值
    query: label_values(metadata, datacenter)
    # 允許多選
    multi: true
    # 包含全選選項
    includeAll: true
    # 全選時的值
    allValue: ".*"
    # 目前選擇的值
    current:
      text: "All"
      value: ["$__all"]
    # 排序方式
    sort: 1  # 字母順序
    
  # 主機實例選擇變數
  - name: instance
    type: query
    label: "主機實例"
    # 根據選擇的資料中心過濾主機清單
    query: label_values(metadata{datacenter=~"$datacenter"}, instance)
    multi: true
    includeAll: true
    allValue: ".*"
    current:
      text: "All"
      value: ["$__all"]
    # 依賴於 datacenter 變數
    refresh: 2  # 當依賴變數改變時重新整理
    
  # 時間範圍選擇變數
  - name: time_range
    type: custom
    label: "時間範圍"
    # 自訂選項清單
    options:
      - {text: "5分鐘", value: "5m"}
      - {text: "15分鐘", value: "15m"}
      - {text: "30分鐘", value: "30m"}
      - {text: "1小時", value: "1h"}
      - {text: "6小時", value: "6h"}
      - {text: "24小時", value: "24h"}
    current:
      text: "5分鐘"
      value: "5m"

# 使用變數的 PromQL 查詢範例

# 查詢選定資料中心和主機的 CPU 使用率
instance:node_cpu_utilization:rate5m{
  instance=~"$instance",
  datacenter=~"$datacenter"
}

# 使用時間範圍變數的查詢
rate(
  node_cpu_seconds_total{
    mode="idle",
    instance=~"$instance"
  }[$time_range]
)

# Prometheus 自身監控的關鍵指標

# 監控時間序列總數
prometheus_tsdb_symbol_table_size_bytes

# 監控活躍的時間序列數量
prometheus_tsdb_head_series

# 監控抓取目標的健康狀態
up{job="node-exporter"}

# 監控規則評估的持續時間
prometheus_rule_evaluation_duration_seconds

# 監控查詢執行時間
prometheus_engine_query_duration_seconds

# 監控 TSDB 的資料塊數量
prometheus_tsdb_blocks_loaded

# Prometheus 資料保留配置範例
# 透過命令列參數設定保留時間和大小限制

prometheus \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/var/lib/prometheus \
  --storage.tsdb.retention.time=30d \
  --storage.tsdb.retention.size=100GB \
  --web.listen-address=0.0.0.0:9090 \
  --web.enable-lifecycle \
  --web.enable-admin-api