DevOps 2.0 不僅僅是方法論的更新，更代表著思維模式的轉變。它強調從系統整體出發，而非孤立地看待各個元件，藉由跨元件理解、觀察性 2.0 和系統觀察，更有效地連結開發和維運團隊，並深入理解系統行為。這種系統性思維也影響了 AI 系統的發展，尤其在面對 AI 系統日益增加的複雜性和自主性時，如何有效地測試和確保其安全性成為關鍵挑戰。傳統測試方法已不足以應付 AI 系統的特性，因此需要新的評估方法，例如基準評估和模擬環境。同時，AI 系統的自主性也需要更嚴謹的安全措施和監控機制，例如多層次安全架構和獨立監督代理，以確保其在預期範圍內執行，並避免潛在風險。
DevOps 2.0 與 AI 的未來發展
DevOps 2.0 是一個新的哲學和技術轉變，旨在增強人類效率，認識到第一代 DevOps 的侷限性。這個新階段的特點是跨元件理解、觀察性 2.0 和系統觀察。
跨元件理解
現代方法提倡對整個系統有全面性的理解，將操作問題直接連結回程式碼。它強調瞭解每個使用者和請求的旅程，促進開發和操作之間的更深層次的連結。
觀察性 2.0
觀察性 2.0 是一個新的觀察性版本，它提倡結構化日誌，將隔離的指標和非結構化日誌整合在一起，並在同一事件中嵌入追蹤。透過這種方式，觀察性 2.0 可以促進對於系統的更深入的理解和分析。
系統觀察
DevOps 2.0 鼓勵從系統的整體角度來看待問題。數字孿生或模擬環境的概念是關鍵的，允許團隊模擬變化或異常以診斷問題，並在佈署和執行期間進行診斷。這種方法超越了傳統的測試方法，通常將問題與系統背景隔離，提供了一種更細膩和有效的方式來預測和緩解潛在問題。
AI 對未來的影響
AI 有著獨特的特性和強大的能力。AI 可以用於生成需求、設計檔案、程式碼、組態、測試案例和基礎設施程式碼。AI 編碼已經非常流行。此外，AI 還可以協助 DevOps 透過分析指標和事件、診斷根本原因和實施變化。這通常被稱為 AIOps —— 使用 AI 進行 DevOps —— 不要與 MLOps 或 LLM/FMOps 混淆，後者涉及 ML、LLM 和 FM 模型和系統的 DevOps。
未來的工程 AI 系統
AI 系統複雜且往往難以理解。它們從大量資料中學習並執行廣泛任務的能力使得診斷問題特別具有挑戰性。與傳統軟體不同，問題通常可以追溯到特定的程式碼段，許多 AI 模型的「黑盒」性質使得這個過程更加複雜。因此，需要更好的可觀察性工具，以整合可解釋性、透明度和可追蹤性。這些工具將有助於橋接模型輸入和輸出的差距，提供對其決策過程的洞察 —— 與 DevOps 2.0 中的系統級可觀察性類別似。
超越傳統測試
傳統測試正規化難以適應 AI 系統的複雜性。AI 模型，特別是根據 ML 的模型，不是為固定功能或任務而設計的，而是從資料中學習。這個學習過程使得它們能夠處理廣泛的活動和複雜的背景，使得標準測試方法不太有效。相反，該領域正在轉向基準評估，它們評估 AI 系統在一系列任務和條件下的效能。然而，一個限制是，每個釋出的基準都可能被納入下一代模型的訓練或評估資料中，大大限制了它作為驗證測試的用途。
此外，AI 系統可以產生多樣化的輸出，從結構化資料到非結構化格式，如語言和影像，甚至可以透過使用者介面直接與工具互動。這種多樣性使得應用傳統測試框架變得困難。新興工具被設計用於管理這些挑戰，促進基準評估、提示敏感度、上下文管理和複雜實驗。這些工具通常將人類判斷納入迴圈，認識到自動測試在理解細膩輸出和行為方面的侷限性。
處理自主性和安全措施
AI 系統的自主性，特別是那些由玄貓驅動的系統，引入了額外的複雜性。在 AI 的背景下，自主代理是一個能夠感知其環境、做出決策並自主地採取行動以實作特定目標的系統。這些系統可以與新資料互動，並根據需要進行學習和適應。處理這種自主性需要新的安全措施和監控機制，以確保系統按照預期行為運作，並避免潛在風險。
自主 AI 系統的安全性與監控
隨著 AI 系統越來越自主，能夠獨立地執行任務和做出決策，其安全性和可靠性也成為了一個重要的課題。為了確保這些系統不會產生意外的後果，開發者正在努力建立新的安全機制和監控系統。
模擬和數字孿生技術
模擬和數字孿生技術允許開發者在控制環境中測試和評估 AI 系統的行為，從而可以預測和緩解潛在的風險。這些技術使得開發者可以在真實環境中佈署 AI 系統之前，先在虛擬環境中測試其行為和效能。
獨立監督 AI 代理
獨立監督 AI 代理是一種新的監控機制，旨在監視和控制自主 AI 系統的行為。這些代理可以偵測和糾正 AI 系統的異常行為，確保其按照預期的方式運作。
自主實驗和自我調整
AI 系統現在可以進行自主實驗和自我調整，以適應新的情況和學習新策略。然而，這些實驗必須在預先定義的界限內進行，以確保 AI 系統不會偏離其預期目標。
多層次安全機制
為了確保自主 AI 系統的安全性，開發者正在採用多層次的安全機制。這包括實施系統級別的安全界限，監控 AI 系統的行為，並使用獨立監督 AI 代理進行監控和控制。
綜觀產業生態圈的技術發展趨勢，DevOps 2.0 與 AI 的融合正重新定義軟體開發的生命週期。深入剖析 AI 在 DevOps 中扮演的角色，可以發現，從程式碼生成到系統監控，AI 正逐步滲透到開發流程的每個環節。然而，AI 系統的黑盒特性也帶來了新的挑戰，尤其在可解釋性、透明度和可追蹤性方面。多維比較分析顯示，傳統測試方法已無法有效應對 AI 系統的複雜性，需要新的評估工具和方法，例如基準評估、提示敏感度測試等。此外，AI 系統的自主性也對安全性提出了更高的要求，模擬環境、數字孿生和獨立監督 AI 代理等技術的應用，將成為未來保障 AI 系統安全可靠執行的關鍵。玄貓認為，AI 與 DevOps 的深度融合將是未來軟體工程的主流方向，開發者應積極擁抱新技術，同時關注其潛在風險並探索有效的應對策略。從技術演進角度，掌握 AI 驅動的 DevOps 工具和方法，將成為未來開發者不可或缺的核心競爭力。
