隨著 AI 系統日益複雜，觀測性成為確保其可靠性和效率的關鍵。本文除了探討觀測性在 AI 系統中的重要性，更以弗勞恩霍夫研究所利用預訓練語言模型的案例，展現如何透過資料分析理解系統行為，進而提升系統效能。實務上，藉由監控工具、軟體物料清單（SBOM）存取模組以及存取儲存函式庫的模組，可以有效收集和分析系統資料，掌握系統運作狀況。此外，文章也探討了 AI 在招標流程的應用，以一家大型電子元件供應商的案例，說明如何運用 AI 技術自動化處理招標檔案，提升作業效率並降低人工成本。這個案例研究包含概念驗證、實施和生產三個階段，逐步驗證 AI 解決方案的可行性與效益。
12.1 前言
在人工智慧（AI）系統中，觀測性（observability）是一個至關重要的概念。它涉及使用各種機制來監控和理解系統的行為，包括資料準備、建模和佈署等階段。在本章中，我們將探討如何在 AI 系統中實作觀測性，並提供一個實際案例：弗勞恩霍夫研究所（Fraunhofer）使用預訓練語言模型的案例研究。
12.2 觀測性的重要性
觀測性在 AI 系統中非常重要，因為它可以幫助我們瞭解系統的行為和決策過程。透過使用各種工具和技術，例如監控器、SBOM 存取模組和存取儲存函式庫的模組，我們可以收集和分析資料，以便更好地理解系統的運作。這對於確保系統的可靠性、安全性和效率至關重要。
12.3 案例研究：弗勞恩霍夫研究所
弗勞恩霍夫研究所是一個著名的研究機構，該機構使用預訓練語言模型來實作觀測性。透過使用這種模型，研究人員可以分析和理解系統的行為，包括資料準備、建模和佈署等階段。這個案例研究展示瞭如何使用預訓練語言模型來實作觀測性，並提供了有關如何使用這種模型來改善 AI 系統的可靠性和效率的見解。
12.4 討論問題
- 你如何定義和衡量 AI 系統的「健康度」？
- 假設一個 SRE 負責回應警示，如何分析一個涉及資料漂移的 AI 系統警示？是否可以在實時找到修復方案？
- 你如何看待觀測性在 AI 系統中的重要性？它如何影響系統的可靠性和效率？
12.5 進一步閱讀
若要深入瞭解生產機器學習管道中的觀測性，請參考 Shankar 和 Parameswaran 的工作，他們討論了增強 ML 系統觀測性的挑戰和方法[Shankar 21]。
若要更廣泛地瞭解生產環境中的觀測性，包括實作生產卓越的工程最佳實踐，請參考《觀測性工程》一書，由玄貓、Fong-Jones 和 Miranda 編寫[Majors 22]。
若要了解觀測性在軟體供應鏈背景下的影響及其對 AI 系統的影響，請參考 Xia 等人的實證研究：軟體物料清單（SBOM）[Xia 24B]。
AI 系統觀測性流程活動圖
圖表描述 (Alt Text): 此活動圖展示了AI系統中實現觀測性的完整流程，從資料準備、建模到部署，最終透過觀測性工具進行分析與理解，以改善系統的可靠性與效率。
Tendering 過程中的 AI 應用
玄貓將探討一個大型電子元件供應商在招標過程中使用人工智慧（AI）的創新案例。
Tendering 過程簡介
Tendering 過程始於客戶對產品或服務的初步詢問，結束於客戶下單。這個過程在建築行業中尤為重要，因為它涉及一個三級分銷模式。建築師會向批發商提出電氣元件的報價請求，批發商再將這些請求轉發給不同的供應商以取得價格資訊。供應商接收到報價請求後，會根據請求中提供的描述，提出符合要求的產品。最後，當批發商收集到所有必要的價格資訊後，會將其編製成報價單並發送回給建築師。
問題背景
Fraunhofer IAIS 受委託解決一家大型電子元件供應商的問題。該供應商提供超過 50,000 種電子元件，並參與複雜的招標過程。
傳統招標流程活動圖 (圖 12.1)
圖表描述 (Alt Text): 此活動圖展示了傳統的電子元件招標流程，從建築師發出報價請求，到批發商轉發，再到供應商進行手動產品匹配與報價，最後由批發商匯總並回覆建築師。其中標示了可被AI替代的手動環節。
Tendering 過程中的挑戰
供應商在招標過程中面臨著許多挑戰，尤其是在建立自定義報價單給批發商時。這個過程需要對產品有深入的瞭解，並且需要付出大量的努力。
AI 解決方案
Fraunhofer IAIS 使用其在 AI 領域的專業知識，開發了一個 AI 解決方案，以幫助供應商自動化招標過程。這個解決方案涉及資料、基礎設施、營運和品質等方面的要求。
內容解密：
AI 解決方案的目的是自動化招標過程中的手動步驟，例如根據請求描述選擇合適的產品等。這個解決方案使用機器學習演算法和自然語言處理技術，自動匹配產品和請求描述。
案例研究設定
此案例研究分為三個階段：概念驗證（POC）、實施和生產。
AI 解決方案導入三階段活動圖 (圖 12.2)
圖表描述 (Alt Text): 此活動圖展示了將AI解決方案導入招標流程的三個階段：概念驗證（POC）以驗證可行性，實施階段進行開發與整合，最終進入生產階段進行全面部署與持續監控。
AI 驅動的自動化正在重塑傳統產業的運作模式，本文探討的電子元件供應商招標流程自動化即是一例。透過自然語言處理和機器學習技術，Fraunhofer IAIS 的解決方案有效地解決了產品匹配的效率瓶頸，降低了人工成本和錯誤率。然而，系統的長期穩定性和可擴充套件性仍需持續關注，特別是面對產品目錄更新和市場需求波動的挑戰。此外，資料品質和模型訓練的持續最佳化也是決定 AI 方案成敗的關鍵。隨著 AI 技術的成熟和普及，預期更多產業將採用類別似方案，提升營運效率並創造新的商業價值。對於有意匯入 AI 自動化的企業，玄貓建議優先評估自身業務流程和資料基礎，並選擇合適的技術合作夥伴，方能最大化 AI 投資效益。
