用 Grafana 開發可觀測的 CI/CD 環境

– 11 分鐘閱讀

在 EC2 執行個體上安裝並設定 Grafana。設定 Grafana 以連線到 InfluxDB 作為資料來源。建立新的儀錶板，並新增面板來顯示您感興趣的指標，例如 CPU 使用率、記憶體使用率和磁碟網路空間。

ELK Stack 日誌集中管理

Filebeat 設定

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/jenkins/jenkins.log
  multiline.pattern: '^[[:space:]]+(at|\.{3,})'
  multiline.negate: true
  multiline.match: after
output.logstash:
  hosts: ["<LOGSTASH_IP>:5044"] # 將 <LOGSTASH_IP> 替換為 Logstash 伺服器的 IP 地址

這段 Filebeat 設定指定了要監控的日誌檔案路徑 /var/log/jenkins/jenkins.log，並設定了多行訊息的處理方式。multiline.pattern 定義了多行訊息的正規表示式模式，multiline.negate 設定為 true 表格示比對的列不應該被視為多行訊息的開頭，multiline.match: after 表格示比對的行應該附加到前一行。最後，output.logstash 區段設定了 Logstash 伺服器的輸出地址。

啟動 Filebeat 服務：

sudo systemctl enable filebeat
sudo systemctl start filebeat

這兩個命令分別啟用和啟動 Filebeat 服務。啟用 Filebeat 服務可確保它在系統啟動時自動執行。

Logstash 設定

設定 Logstash 以接收來自 Filebeat 的日誌，並將其傳送到 Elasticsearch。建立 /etc/logstash/conf.d/jenkins.conf 檔案，並新增以下設定：

input {
  beats {
    port => 5044
  }
}
output {
  elasticsearch {
    hosts => ["<ELASTICSEARCH_IP>:9200"] # 將 <ELASTICSEARCH_IP> 替換為 Elasticsearch 伺服器的 IP 地址
    index => "jenkins-%{+YYYY.MM.dd}"
  }
}

這段 Logstash 設定定義了輸入和輸出。input 區段設定 Logstash 監聽來自 Filebeat 的連線，埠為 5044。output 區段設定 Logstash 將處理後的日誌輸出到 Elasticsearch，index 設定定義了索引名稱的格式。

啟動 Logstash 服務：

sudo systemctl enable logstash
sudo systemctl start logstash

這兩個命令分別啟用和啟動 Logstash 服務。啟用 Logstash 服務可確保它在系統啟動時自動執行。

現在，Jenkins 日誌將被 Filebeat 收集，由 Logstash 處理，並儲存在 Elasticsearch 中。您可以使用 Kibana 建立視覺化儀錶板來分析這些日誌。

透過以上設定，您就可以建立一個全面的 Jenkins 監控和日誌管理系統。這將有助於您更好地瞭解 Jenkins 叢集的效能，並快速診斷和解決任何問題。

這個架構圖展示了整個流程：

  graph LR
    subgraph Jenkins Servers
        A[Jenkins Master] --> B(Filebeat)
        C[Jenkins Worker]
    end
    B --> D[Logstash]
    D --> E[Elasticsearch]
    E --> F[Kibana]
    subgraph Monitoring System
        G[Telegraf] --> H[InfluxDB]
        H --> I[Grafana]
        A --> G
        C --> G
    end

希望這篇文章對您有所幫助！

java.util.concurrent.TimeoutException:
at
hudson.remoting.PingThread.ping(PingThread.java:134)
at hudson.remoting.PingThread.run(PingThread.java:90)

處理多行訊息，例如 Java 堆積積疊追蹤，需要特殊的設定，以確保 Filebeat 將整個堆積疊追蹤視為單一記錄事件。我們使用 multiline 設定來達成此目的，指定哪些行屬於同一個訊息。

設定 LOGSTASH_HOST 變數為 Logstash 伺服器的 IP 位元址。使用以下命令重新啟動 Filebeat：

systemctl restart filebeat

接著，開啟 Kibana ( KIBANA_IP:5601 )，進入「管理」>「索引模式」。建立新的索引模式 jenkins-* ，將 Kibana 與 Elasticsearch 索引連結起來，以便探索所有 Jenkins 記錄。在「時間篩選器欄位名稱」選擇 @timestamp ，然後點選「建立索引模式」。

現在，在 Kibana 的「探索」頁面，您可以看到索引的 Jenkins 日誌資料。

雖然日誌已經串流到 Kibana，但訊息格式仍不夠理想。為了更有效地分析日誌，我們需要剖析訊息並建立具名欄位元。以下是一個 Jenkins 日誌範例：

2020-06-02 15:21:56.990+0000 INFO o.j.p.workflow.job.WorkflowRun#finish: movies-loader/develop #7 completed: SUCCESS

我們可以使用 Grok 運算式來剖析這個訊息。Grok 使用正則運算式將文字模式對應到識別碼。語法為 %{PATTERN:IDENTIFIER} 。以下是一個 Grok 運算式範例，用於剖析上述日誌訊息：

%{TIMESTAMP_ISO8601:createdAt} %{LOGLEVEL:level} %{JAVACLASS:class}%{DATA:state}: %{JOBNA
ME:project} #%{NUMBER:buildNumber} %{DATA:execution}: %{WORD:status}

Grok 提供內建的模式字典，您也可以自定義模式。例如：

JAVACLASS (?:[a-zA-Z0-9-]+\.)+[A-Za-z0-9$]+
JOBNAME [a-zA-Z0-9\-\/]+

使用 Kibana 的 Grok Debugger 主控台可以測試和偵錯 Grok 運算式。在「範例資料」輸入日誌訊息，在「Grok 模式」輸入運算式，然後點選「模擬」即可檢視剖析結果。

Logstash 外掛程式：簡化日誌串流

除了 Filebeat，您也可以使用 Jenkins 的 Logstash 外掛程式直接將日誌串流到 Elasticsearch，省去 Filebeat 和 Logstash 的設定。這個方法適用於沒有使用外部 Logstash 代理伺服器，與不需要自定義 Grok 剖析的情況。Logstash 外掛程式支援多種索引器，套件括 Redis、RabbitMQ 和 Elasticsearch。

在 Jenkins 安裝 Logstash 外掛程式後，設定 Elasticsearch 的 URI。然後，在 Pipeline 中加入以下程式碼區塊，即可將日誌串流到 Elasticsearch：

logstash {
  echo "工作:${env.JOB_NAME}"
}

您可以在 Kibana 儀錶板檢視串流的日誌。

持續整合日誌管理的最佳實務

這篇文章探討瞭如何設定 Jenkins CI Pipeline 的郵件通知和日誌管理。透過這些設定，您可以自動通知團隊成員建置狀態，聯集中管理日誌以進行除錯和分析。我建議使用具有加密和版本控制功能的 S3 作為日誌儲存後端，以提高安全性及可追溯性。

流程圖解説 Jenkins 日誌流程

以下流程圖説明瞭使用 Filebeat 和 Logstash 將 Jenkins 日誌傳輸到 Elasticsearch 和 Kibana 的過程：

  graph LR
    A[Jenkins] --> B(Filebeat);
    B --> C[Logstash];
    C --> D[Elasticsearch];
    D --> E[Kibana];

此流程圖展示了日誌資料從 Jenkins 伺服器，經由 Filebeat 收集、Logstash 處理，最終儲存到 Elasticsearch 並在 Kibana 中視覺化的完整路徑。

Logstash 外掛程式流程圖解説

以下流程圖説明瞭使用 Logstash 外掛程式直接將 Jenkins 日誌傳輸到 Elasticsearch 的過程：

  graph LR
    A[Jenkins] --> B[Logstash Plugin];
    B --> C[Elasticsearch];
    C --> D[Kibana];

此流程圖展示了更簡潔的日誌流程，Jenkins 日誌透過 Logstash 外掛程式直接傳輸到 Elasticsearch，然後在 Kibana 中進行視覺化，減少了設定的複雜度。

JENKINS_URL/securityRealm/finishLogin

JENKINS_URL 代表您的 Jenkins 執行個體的 URL。例如，如果您的 Jenkins 執行個體託管在 https://jenkins.example.com，則授權回呼 URL 應為 https://jenkins.example.com/securityRealm/finishLogin。這個 URL 告知 GitHub 在使用者成功透過驗證後將使用者重新導向回 Jenkins。

建立應用程式後，GitHub 會提供「Client ID」和「Client Secret」。這些值將用於在 Jenkins 中設定 GitHub 驗證。

設定 Jenkins 的 GitHub 驗證

在 Jenkins 中，導覽至「管理 Jenkins」>「設定全域安全性」。在「安全性領域」區段中，選擇「GitHub 驗證」。

  1. Client ID： 貼上您從 GitHub 應用程式取得的 Client ID。
  2. Client Secret： 貼上您從 GitHub 應用程式取得的 Client Secret。
  3. OAuth Scope： 設定您希望 Jenkins 應用程式擁有的 GitHub 許可權範圍。根據您的需求選擇適當的範圍。
  4. 測試設定： 您可以使用「測試設定」按鈕來驗證您的設定是否正確。

設定完成後，點選「儲存」。現在，使用者可以使用其 GitHub 帳戶登入 Jenkins。

探討 Jenkins 的 RBAC 許可權管理

Jenkins 的角色式存取控制（RBAC）功能，讓管理員能更精細地控制使用者對 Jenkins 資源的存取許可權。相較於傳統的矩陣式授權策略，RBAC 更易於管理，特別是在大型團隊和複雜專案中。

RBAC 的優勢

  • 簡化許可權管理： 將使用者分組到角色中，簡化了許可權的分配和管理。
  • 提升安全性： 透過精細的許可權控制，降低了未經授權的存取風險。
  • 提高效率： 避免了為每個使用者單獨設定許可權的繁瑣操作。

RBAC 的實踐

在 Jenkins 中，RBAC 通常透過外掛程式來實作，例如「Role-based Authorization Strategy」外掛程式。安裝此外掛程式後，您可以在「管理 Jenkins」>「設定全域安全性」>「授權」中找到 RBAC 的設定選項。

您可以定義不同的角色，例如「開發者」、「測試人員」、「管理員」等，並為每個角色分配特定的許可權。例如，開發者角色可能擁有執行構建、檢視構建記錄的許可權，而管理員角色則擁有所有許可權。

Jenkins 備份策略與災難復原

穩固的備份策略對於保障 Jenkins 的持續運作至關重要。以下是一些 Jenkins 備份的最佳實務：

  • 定期備份： 建議至少每天備份一次 Jenkins 的 $JENKINS_HOME 目錄，其中包含所有重要的設定、外掛程式和構建記錄。
  • 多種備份方式： 除了簡單的目錄複製，還可以考慮使用 ThinBackup 或 CloudBees Backup 等外掛程式，這些外掛程式提供更進階的備份功能，例如增量備份和雲端備份。
  • 異地備份： 將備份儲存在異地位置，以防止單點故障。
  • 測試還原： 定期測試備份的還原功能，確保在需要時可以快速復原 Jenkins 的運作。

利用 Jenkins 執行 Cron 任務

Jenkins 不僅僅是一個 CI/CD 工具，它也可以用作 Cron 任務的排程器。透過 Jenkins 的定時構建功能，您可以輕鬆地設定定時任務，例如：

  • 定期備份 Jenkins
  • 清理舊的構建記錄
  • 執行自動化測試
  • 監控系統資源

設定 Cron 任務非常簡單，只需在 Jenkins 任務的構建觸發器中設定定時表示式即可。

Jenkins 任務遷移最佳實踐

當您需要將 Jenkins 任務遷移到新的執行個體時，以下是一些最佳實踐：

  • 使用 工作 Import Plugin： 這個外掛程式可以幫助您從另一個 Jenkins 執行個體匯入任務。
  • 使用 Jenkins CLI： Jenkins CLI 提供了命令列工具，可以匯出和匯入任務。
  • 手動複製 $JENKINS_HOME 目錄： 這是最簡單的方法，但需要注意的是，這種方法可能會導致一些外掛程式或設定不相容。

透過妥善規劃和執行遷移過程，您可以確保任務的順利遷移，並避免資料遺失或服務中斷。

透過本文的介紹，相信您對 Jenkins 的管理和最佳實務有了更深入的瞭解。從安全性設定到任務遷移，掌握這些技巧將有助於您更好地管理 Jenkins，並充分發揮其強大的功能。

JENKINS_URL/securityRealm/finishLogin

這段程式碼片段展示了設定 Jenkins 與 GitHub OAuth 整合的授權回呼 URL 格式。JENKINS_URL 代表您的 Jenkins 伺服器地址，例如 http://your-jenkins-server:8080。這個 URL 是 GitHub 在驗證使用者身份後，將使用者重新導向回 Jenkins 的入口點。設定正確的回呼 URL 對於完成 OAuth 流程至關重要，否則驗證將會失敗。

深入解析 Jenkins 使用者活動稽核

有效追蹤使用者活動對於保障 Jenkins 系統安全至關重要。Audit Trail 外掛程式提供強大的稽核功能，詳細記錄所有使用者操作，套件含登入、任務建立、組態變更等。這份記錄有助於追蹤問題根源、稽核安全事件，並滿足合規性要求。

  graph LR
    B[B]
    A[使用者操作] --> B{Audit Trail 外掛程式};
    B --> C[稽核記錄];
    C --> D[安全稽核];
    C --> E[問題追蹤];
    C --> F[合規性];

此流程圖展示了 Audit Trail 外掛程式如何記錄使用者操作並生成稽核記錄，進而支援安全稽核、問題追蹤和合規性工作。

利用共用程式函式庫提升 Jenkins Pipeline 效率

共用程式函式庫是提升 Jenkins Pipeline 效率的利器，它允許您將常用的程式碼和步驟封裝成可重複使用的模組。這不僅減少了程式碼冗餘，也簡化了 Pipeline 的維護和更新。

建立共用程式函式庫的步驟如下：

  1. 建立一個 Git 儲存函式庫，存放您的共用程式碼。
  2. 在 Jenkins 中設定共用程式函式庫，指定 Git 儲存函式庫位置。
  3. 在 Jenkinsfile 中參照共用程式函式庫。
@Library('your-shared-library') _

這段程式碼示範瞭如何在 Jenkinsfile 中參照名為 your-shared-library 的共用程式函式庫。@Library 註解指示 Jenkins 載入指定的程式函式庫，使其在 Pipeline 中可用。

Jenkins 資料備份與還原策略

穩健的備份和還原策略是確保 Jenkins 資料安全的重要一環。以下列出幾種常用的備份方法：

  • 複製 $JENKINS_HOME 目錄： 這是最簡單的備份方法，直接複製整個 Jenkins 主目錄。
  • ThinBackup 外掛程式： 提供更精細的備份選項，可以選擇性地備份特定任務或設定。
  • CloudBees 備份外掛程式： 專為公司級 Jenkins 佈署設計，提供更強大的備份和災難復原功能。

選擇適合您需求的備份方法，並定期執行備份，才能有效降低資料遺失的風險。

善用 Jenkins 執行 Cron 任務

Jenkins 不僅僅是 CI/CD 工具，它也可以作為 Cron 任務排程器。您可以利用 Jenkins 建立定時任務，自動執行備份、清理、監控等操作。

設定 Cron 任務的步驟如下：

  1. 建立一個新的 Jenkins 任務。
  2. 設定建置觸發程式，使用 Cron 語法指定任務執行的時間。
H/15 * * * *

這段 Cron 語法表示每 15 分鐘執行一次任務。

Jenkins 任務遷移最佳實務

將 Jenkins 任務遷移到新的執行個體可能是一項複雜的任務。以下提供幾種遷移方法：

  • 複製 $JENKINS_HOME 目錄： 適用於簡單的遷移場景。
  • Jenkins CLI： 提供更靈活的遷移選項，可以透過指令碼自動化遷移過程。
  • Jenkins 任務匯入外掛程式： 允許您選擇性地匯入特定任務和設定。

選擇最適合您需求的遷移方法，並在遷移前做好充分的規劃和測試。

透過妥善運用這些 Jenkins 管理技巧，您可以開發一個安全、可靠與高效的 CI/CD 環境。從安全性設定、許可權管理到資料備份和任務遷移，每個環節都至關重要。持續學習和實踐，才能充分發揮 Jenkins 的強大功能。

解鎖定 Jenkins 安全性：RBAC 與許可權控管

預設情況下，Jenkins 的許可權設定較為寬鬆，未登入使用者擁有讀取許可權，登入使用者則幾乎可以存取所有內容。在實際應用程式中，特別是團隊規模較大或 Jenkins 佈署於正式環境時，更精細的許可權控管至關重要。

我個人強烈建議停用匿名讀取許可權，並啟用使用者註冊功能。如此一來，所有使用者都必須登入才能操作 Jenkins，有效防止未授權存取。

更進一步，我們可以運用矩陣授權策略或根據角色的授權策略（RBAC）來精細控制每個使用者或角色的許可權。RBAC 更適合管理大型 Jenkins 執行個體，透過角色分配許可權，簡化管理流程並提升安全性。

  graph LR
    C[C]
    A[使用者] --> B(角色)
    B --> C{許可權}
    C --> D[Jenkins 資源]

上圖展示了 RBAC 的基本概念：使用者被分配到特定角色，而每個角色擁有不同的許可權，從而控制對 Jenkins 資源的存取。

GitHub OAuth 整合：簡化登入流程

整合 GitHub OAuth 可以讓使用者直接使用 GitHub 帳號登入 Jenkins，簡化登入流程並提升使用者經驗。設定步驟如下：

  1. 在 GitHub 上建立 OAuth 應用程式，取得 Client ID 和 Client Secret。
  2. 在 Jenkins 的「設定全域安全性」中啟用 GitHub 驗證，並填入 Client ID 和 Client Secret。

完成設定後，使用者即可透過 GitHub 帳號無縫登入 Jenkins。

Jenkins 效能調校：提升建置效率

Jenkins 效能直接影響 CI/CD 流程的效率。以下是一些效能調校的技巧：

  • 最佳化 JVM 引數: 根據 Jenkins 負載調整 JVM 堆積積大小和其他引數。
  • 使用 Slave 節點: 分散建置任務到多個 Slave 節點，提升併發處理能力。
  • 清理舊版建置: 定期清理舊版建置記錄和工作網路空間，釋放磁碟網路空間。
  • 使用快取: 利用快取機制減少重複下載和編譯，加快建置速度。

備份與還原：保障系統穩定性

定期備份 Jenkins 執行個體至關重要，可以有效降低資料遺失的風險。備份方式包括：

  • 複製 $JENKINS_HOME 目錄
  • 使用 ThinBackup 外掛程式
  • 使用 CloudBees 備份外掛程式

選擇適合您環境的備份方式，並定期進行備份演練，確保在需要時能夠快速還原 Jenkins。

玄貓的 Jenkins 管理心法

除了上述技巧，以下是我在實務中總結的一些 Jenkins 管理經驗：

  • 監控與警示: 建立完善的監控和警示機制，及時發現並處理 Jenkins 效能問題。
  • 程式碼即基礎設施: 使用 Terraform 等工具管理 Jenkins 基礎設施，實作自動化佈署和管理。
  • 安全稽核: 定期進行安全稽核，檢查 Jenkins 安全設定和許可權控管，及時發現並修復安全漏洞。

結語

Jenkins 作為 CI/CD 的核心工具，其安全性、效能和穩定性至關重要。透過本文介紹的技巧和最佳實務，您可以開發一個安全可靠與高效的 Jenkins CI/CD 流程，助力您的團隊提升軟體交付效率。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。