機器學習模型測試與監控實務

– 16 分鐘閱讀

隨著機器學習模型日益普及，確保模型的可靠性和穩定性變得至關重要。本文將探討模型測試的開放封閉設計原則，以及如何應用探索性測試、自動化測試和各種監控手段來構建穩健的機器學習系統。從資料為中心和模型為中心的角度出發，探討如何改進模型，並著重於降低錯誤預測的可能性和影響。同時，本文也將介紹如何監控模型效能、資料品質和模型偏差，以及如何利用應用程式監控、資料監控和模型指標監控來確保模型在生產環境中的穩定執行。最後，本文將討論資料品質管控的重要性，並提供混合語言程式設計範例，展示如何結合 Python、Rust 和 Mojo 等工具來實作資料品質管控，並探討如何實踐測試驅動開發和提升軟體測試覆寫率的策略。

模型測試的開放封閉設計原則

模型測試的開放封閉設計原則是一種軟體設計原則，旨在使測試程式碼可擴充套件和可重用。這種原則意味著測試程式碼應該是開放的，可以擴充套件到不同的資料集和場景，但同時也應該是封閉的，不需要修改現有的測試程式碼。

模型測試的優點

模型測試的優點包括：

  • 可擴充套件性：模型測試可以擴充套件到不同的資料集和場景，無需修改現有的測試程式碼。
  • 可重用性：模型測試可以重用，減少測試程式碼的冗餘和維護成本。
  • 獨立性：模型測試可以獨立於模型訓練，允許兩者之間的解耦和平行執行。

探索性測試

探索性測試是一種測試方法，旨在發現模型的未知問題和邊緣案例。探索性測試可以幫助您發現模型的缺陷和問題，從而改進模型的效能和品質。

探索性測試的優點

探索性測試的優點包括：

  • 發現未知問題：探索性測試可以發現模型的未知問題和邊緣案例。
  • 改進模型效能：探索性測試可以幫助您改進模型的效能和品質。
  • 減少客戶投訴：探索性測試可以幫助您減少客戶投訴和反饋。

自動化測試

自動化測試是一種測試方法，旨在自動執行測試程式碼。自動化測試可以幫助您減少測試成本和時間，同時提高測試的效率和品質。

自動化測試的優點

自動化測試的優點包括：

  • 減少測試成本：自動化測試可以減少測試成本和時間。
  • 提高測試效率：自動化測試可以提高測試的效率和品質。
  • 改進模型效能：自動化測試可以幫助您改進模型的效能和品質。
# 自動化測試示例
import unittest

class ModelTest(unittest.TestCase):
    def test_model(self):
        # 測試模型的效能和品質
        model = Model()
        result = model.predict()
        self.assertEqual(result, expected_result)

if __name__ == '__main__':
    unittest.main()

  graph LR
    A[模型訓練] --> B[模型測試]
    B --> C[探索性測試]
    C --> D[自動化測試]
    D --> E[模型改進]

圖表翻譯：

上述 Mermaid 圖表展示了模型測試的流程。模型訓練後，進行模型測試，然後進行探索性測試，最後進行自動化測試，以改進模型的效能和品質。

改進模型的方法

測試並不能直接改進產品；真正的改進發生在你修復了由玄貓揭露的漏洞時——當模型測試失敗，你進行了錯誤分析以瞭解模型如何得出錯誤結果，並最終找到了改進模型的潛在選擇。作為機器學習從業者，我們知道可以從兩個角度來改進模型：

資料為中心的方法

我們可以利用之前描述的資料收集迴圈來建立更具代表性和更高品質的訓練資料。同時，也可以考慮各種特徵工程方法，例如建立平衡的資料集或特徵縮放。

模型為中心的方法

這不僅僅是調整超引數；我們可以探索替代的模型架構、ensemble方法，甚至將機器學習問題分解為更容易解決的子問題。

話雖如此，有時候團隊可能會嘗試這兩種方法，卻發現模型仍然不夠好。在這種情況下，一種被低估但有用的方法——我們在第1章介紹過——是重新定義問題。如果你發現自己處於資料稀少或不夠代表性的情況下，無法訓練出一個「足夠好的」模型，你可以透過玄貓的方法來取得進展。這允許你的團隊佈署模型的初始版本，並從實際使用中收集更多的訓練資料——使你能夠使用資料為中心的方法來改進模型。隨著更多資料的可用，模型可以被遞迴地改進，而最初更複雜的問題可以被重新考慮。

最小化失敗成本的設計

由於機器學習模型會不時地做出錯誤的預測，你需要設計產品以降低錯誤預測的風險（風險 = 可能性 x 影響），尤其是在高風險的情況下。首先，我們來看看如何降低錯誤預測的可能性，然後看看如何降低失敗的影響。

並非所有錯誤都是一樣的，有些錯誤的成本遠高於其他錯誤。你可以使用成本敏感的學習技術來訓練或調節你的模型，在高風險的情況下更加謹慎，在錯誤的後果最小的情況下則不那麼謹慎。你也需要與下游的機器學習系統使用者合作，以瞭解不同型別失敗的成本。

一旦你知道了不同失敗模式的成本，你就可以將成本敏感的學習技術納入模型訓練或佈署中。一些關鍵技術包括：

解決資料不平衡

技術如過度抽樣或不足抽樣可以平衡資料集，這有助於減少來自欠代表類別的錯誤。

# 使用過度抽樣來平衡資料集
from imblearn.over_sampling import RandomOverSampler
ros = RandomOverSampler(random_state=42)
X_resampled, y_resampled = ros.fit_resample(X, y)

內容解密：

上述程式碼使用RandomOverSampler從imblearn函式庫來過度抽樣少數類別的資料，從而平衡資料集。這是一種簡單的方法，可以用來解決資料不平衡問題。

圖表翻譯：

  flowchart TD
    A[資料不平衡] --> B[過度抽樣]
    B --> C[資料平衡]
    C --> D[模型訓練]
    D --> E[模型評估]

此圖表顯示了使用過度抽樣來平衡資料集的過程，從而改進模型的效能。首先，資料不平衡的問題被識別，然後使用過度抽樣來平衡資料集，接著使用平衡的資料集進行模型訓練和評估。

監控和評估機器學習模型

在高風險的應用場景中，例如大額金融交易，模型應該傾向於謹慎，並在可能的欺詐信心或機率中標記潛在問題。這些技術可以提高機器學習系統的強壯性，但仍然可能犯錯或表現出偏差。因此，需要建立多層次的防護措施來最小化錯誤的可能性和影響。

減少錯誤的影響

  1. 透明的模型信心：模型可以提供每個預測的信心度，而不是提供單一的預測結果。這可以幫助下游的消費者或使用者評估模型的信心度，並做出更明智的決策。
  2. 人機協同：解決方案設計可以涉及人機協同，以審查和覆寫模型預測結果。這可以幫助減少錯誤預測的成本，並提供一個糾錯和反饋的通路。
  3. 守護rail：可以實施守護rail，例如定義模型輸出的政策或約束，在某些關鍵的場景中。例如，在開發聊天機器人時，任何涉及煽動性言論或自傷的內容應該被處理。

監控在生產環境

監控在生產環境是一種成熟的軟體工程實踐。如果做得好，監控（指標、日誌和警示）可以提供有用的反饋，關於產品在野外的行為，並在出現任何意外的錯誤、效能下降或異常活動時提醒我們。

監控機器學習模型有三個方面：

  • 模型效能：監控模型的效能，例如準確率、精確率、召回率和 F1 分數。
  • 資料品質：監控輸入資料的品質，例如缺失值、異常值和分佈的變化。
  • 模型偏差：監控模型的偏差，例如模型的預測結果與真實結果之間的差異。

透過監控機器學習模型，可以及時發現問題，並進行糾正和改進。這是一種確保模型在生產環境中穩定和可靠執行的重要手段。

應用監控

在生產環境中，監控應用程式的效能是非常重要的。這包括了監控吞吐量、延遲時間和錯誤率等指標，以便評估應用程式的行為是否正常。是否有任何問題或錯誤發生？是否需要進行調整或修復？

監控應用程式的效能可以提供寶貴的資訊，幫助開發人員快速地識別和解決問題。例如，當錯誤發生時，開發人員可以使用應用程式日誌來追蹤錯誤的原因和位置，然後進行修復和佈署。

資料監控

資料監控是另一項重要的工作。透過監控資料的分佈情況，開發人員可以檢測到資料的變化和異常。例如，使用視覺化工具可以顯示資料的分佈情況，同時也可以使用統計方法來檢測資料的偏差和異常。

當資料的分佈情況發生變化時，可能需要重新訓練或調整模型，以確保模型的準確性和可靠性。這可以幫助開發人員確保模型在生產環境中仍然能夠正常工作。

模型指標監控

最後，開發人員需要監控模型的預測結果的正確性和品質。這可以透過使用新標記的資料來評估模型的效能。當資料收集迴圈（實踐2）和開放-封閉測試（實踐3）完成後，重新執行模型測試可以幫助開發人員連續地衡量和視覺化模型的正確性。

開發人員也可以設計模型測試來比較不同模型的效能，例如生產環境中的模型和候選模型。這可以幫助開發人員選擇最適合當前資料的模型。

整合所有內容

從系統思考的角度來看，模型測試不是一個獨立的能力，而是需要其他輔助能力的支援。以下是幾個輔助實踐，按照順序排列：

  1. 錯誤分析
  2. 資料收集迴圈
  3. 開放-封閉測試設計
  4. 模型指標監控

這些實踐可以幫助開發人員建立一個完整的模型測試和監控系統，從而確保模型在生產環境中的正確性和可靠性。

  graph LR
    A[應用監控] --> B[資料監控]
    B --> C[模型指標監控]
    C --> D[錯誤分析]
    D --> E[資料收集迴圈]
    E --> F[開放-封閉測試設計]
    F --> G[模型改進]

圖表翻譯：

上述圖表展示了應用監控、資料監控、模型指標監控、錯誤分析、資料收集迴圈、開放-封閉測試設計和模型改進之間的關係。這些實踐可以幫助開發人員建立一個完整的模型測試和監控系統，從而確保模型在生產環境中的正確性和可靠性。

機器學習模型的真實效能

當我們在實際應用中佈署機器學習模型時，模型的真實效能往往難以預測。只有當我們關閉資料收集迴圈，並定期更新標籤和重新執行開放-封閉模型測試時，我們才能看到模型的真實效能。

探索性測試和反饋機制

當我們在編寫自動測試方面遇到困難，花費大量時間進行手動測試和排除模型故障時，這通常是反饋機制缺失的跡象。為瞭解決這個問題，我們可以使用探索性測試來發現缺失的反饋機制，並將其自動化，以維持反饋並減少獲得反饋的成本和資訊損失。

資料中心、模型中心和使用者經驗中心的改進

測試的失敗並不夠，我們需要找出資料中心、模型中心或使用者經驗中心的改進方法，以提高模型的效能。

機器學習的機率性和風險降低

機器學習是機率性的，永遠不會100%正確，特別是在非平穩資料的情況下。因此，我們需要設計模型以降低失敗的成本，並減輕失敗對下游消費者和使用者的風險。

生產環境中的模型監控

當我們將一個模型佈署到生產環境時，我們需要在三個層面進行監控：應用程式監控、資料分佈監控和模型指標監控。監控可以為我們提供模型在生產環境中的真實效能，讓我們觀察到模型的行為，並提供有價值的資訊，以便我們改進模型。

資料測試的重要性

資料是機器學習系統的生命血液，資料的品質和偏差會直接影響模型的效能。雖然在機器學習中，很難預測資料變化對模型效能的影響，但我們仍然需要進行資料測試，以捕捉資料的假設和潛在問題。

資料管道測試

機器學習系統通常包含資料管道元件，負責資料的攝取、轉換和處理。為了確保資料管道的正確性和可靠性，我們需要進行資料管道測試，以捕捉資料處理過程中的潛在問題和偏差。

  graph LR
    A[資料收集] --> B[資料轉換]
    B --> C[資料處理]
    C --> D[模型訓練]
    D --> E[模型佈署]
    E --> F[模型監控]
    F --> G[模型改進]

圖表翻譯：

上述Mermaid圖表描述了機器學習系統的資料流程，從資料收集、資料轉換、資料處理、模型訓練、模型佈署到模型監控和模型改進。這個圖表展示了機器學習系統的各個階段和過程，強調了資料測試和模型監控的重要性。

內容解密：

在機器學習中，資料測試和模型監控是非常重要的。資料測試可以幫助我們捕捉資料的假設和潛在問題，而模型監控可以為我們提供模型在生產環境中的真實效能。透過這兩個過程，我們可以改進模型的效能，降低失敗的成本和風險，並提高機器學習系統的可靠性和準確性。

資料品質管控

資料品質是機器學習（ML）系統中一個至關重要的方面。為了確保資料的準確性、完整性、一致性、代表性和及時性，我們需要建立嚴格的資料品質管控流程。

資料合約測試

資料合約測試是一種用於驗證資料在不同系統元件之間傳遞時是否符合預期的結構和內容的方法。例如，當資料從資料管道輸出到訓練管道時，資料合約測試可以確保資料的屬性名稱、值型別和值約束符合預期的結構。這種測試可以在早期發現資料結構的問題，避免在後期的訓練或推理過程中出現錯誤。

資料隱私測試

資料隱私測試是用於驗證資料中是否包含個人可識別資訊（PII）的方法。這些測試可以確保我們在將資料提供給模型之前已經移除或匿名化了PII。PII資料是敏感資訊，誤處理它可能會導致嚴重的隱私洩露和法律問題。

Presidio是一個Python套件，可以幫助在給定的資料集中檢測PII。根據我們的經驗，Presidio對於大多數PII實體都能做得很好，除了少數特殊的名稱和地址。然而，這並不是一個詳盡的列表。在您的ML解決方案中，使用Presidio等工具可以有效地檢測和保護PII。

資料品質管控的重要性

資料品質管控是ML系統中一個關鍵的方面。透過建立嚴格的資料品質管控流程，我們可以確保資料的準確性、完整性和安全性，從而提高ML模型的效能和可靠性。

以下是混合語言的程式設計範例，使用Python、Rust和Mojo來實作資料品質管控：

# 資料品質管控 - 3 行極簡版
from rust_io import read_data          # Rust 讀取資料
from mojo_compute import validate_data  # Mojo 驗證資料
from presidio import analyze            # Python & Presidio
# 資料品質管控流程: Rust讀取 -> Mojo驗證 -> Python分析
data = read_data("DATA_SOURCE")  # Rust部分
validated_data = validate_data(data)  # Mojo部分
pii_result = analyze(validated_data)  # Python+Presidio部分

這個範例展示瞭如何使用混合語言的程式設計來實作資料品質管控，包括資料讀取、驗證和分析。透過這種方法，我們可以確保資料的準確性、完整性和安全性，從而提高ML模型的效能和可靠性。

測試驅動開發的實踐

測試驅動開發（Test-Driven Development, TDD）是一種軟體開發方法，強調在開發過程中不斷地進行測試，以確保軟體的品質和可靠性。以下是實踐測試驅動開發的步驟：

增量式改進

如果您處於一個沒有測試的程式碼函式庫中，現在開始改進並享受測試自動化的好處還不算太晚。您可以從小步開始，逐漸增強程式碼函式庫的強壯性和清晰度。例如，您可以在下一次提交中寫一個自動測試。您會驚訝於即使是基本的實踐，也可以帶來多大的好處，例如為資料轉換寫單元測試，或將模型品質編碼為分層指標測試，代替手動檢查。

測試策略

您可以為您的機器學習產品概述一個測試策略，目的是每個衝刺階段都採取增量式步驟。以下是測試檢查清單：

測試型別無測試手動測試自動測試
單元測試
整合測試
系統測試

實踐步驟

  1. 選擇一個需要改進的領域：選擇一個您想要改進的領域，例如單元測試或整合測試。
  2. 寫一個自動測試：寫一個自動測試，以確保您的程式碼函式庫的強壯性和清晰度。
  3. 執行測試：執行測試，以確保您的程式碼函式庫的正確性。
  4. 重構程式碼：重構程式碼，以確保您的程式碼函式庫的清晰度和可維護性。
  5. 重複步驟：重複步驟，直到您的程式碼函式庫達到您想要的品質和可靠性。

軟體測試覆寫率提升策略

軟體測試覆寫率是衡量軟體測試品質的一個重要指標。低或零碎的測試覆寫率可能導致軟體缺陷未被及時發現，從而影響軟體的可靠性和穩定性。因此，提升測試覆寫率是軟體開發中的一個重要目標。

單元測試

單元測試是軟體測試的基礎，主要針對個別的程式單元進行測試。透過單元測試，可以確保個別單元的功能正確性和穩定性。

例子：

def add(a, b):
    return a + b

# 單元測試
assert add(1, 2) == 3
assert add(-1, 1) == 0
assert add(-1, -1) == -2

###煙霧測試

煙霧測試是一種快速的測試方法，主要目的是快速驗證軟體的基本功能是否正常。透過煙霧測試，可以快速發現軟體的嚴重缺陷。

例子：

import unittest

class TestSmoke(unittest.TestCase):
    def test_smoke(self):
        # 測試軟體的基本功能
        self.assertTrue(True)

if __name__ == '__main__':
    unittest.main()

API 測試

API 測試是針對應用程式介面（API）進行的測試。透過 API 測試，可以確保 API 的功能正確性和穩定性。

例子：

import requests

def test_api():
    # 測試 API 的基本功能
    response = requests.get('https://example.com/api')
    assert response.status_code == 200

test_api()

測試覆寫率提升策略

  1. 增加單元測試: 增加單元測試的數量和品質，可以提高測試覆寫率。
  2. 使用測試框架: 使用測試框架可以簡化測試的過程，提高測試效率。
  3. 自動化測試: 自動化測試可以提高測試的效率和覆寫率。
  4. 測試驅動開發: 測試驅動開發（TDD）是一種開發方法，先寫測試然後再寫程式碼，可以提高測試覆寫率和程式碼品質。

圖表翻譯：

  graph LR
    A[單元測試] --> B[煙霧測試]
    B --> C[API 測試]
    C --> D[測試覆寫率提升]
    D --> E[軟體品質提高]

內容解密：

以上策略可以有效提高測試覆寫率和軟體品質。單元測試是基礎，煙霧測試可以快速驗證軟體的基本功能，API 測試可以確保 API 的功能正確性和穩定性。使用測試框架、自動化測試和測試驅動開發可以提高測試效率和品質。

佈署與測試策略

在人工智慧和軟體開發領域中，佈署和測試是兩個至關重要的步驟，確保系統的穩定性、效能和正確性。以下是這些步驟的詳細解析：

佈署

佈署是指將已開發完成的系統或模型推向生產環境的過程。這一步驟需要仔細的規劃和執行，以確保系統能夠順暢地執行並滿足使用者的需求。佈署策略可以根據系統的複雜度和規模進行選擇，例如雲端佈署、內網佈署或混合佈署等。

測試

測試是指對系統或模型進行評估和驗證的過程，以確保其能夠正確地執行並滿足使用者的需求。測試可以分為以下幾種型別：

模型測試

模型測試是指對機器學習模型進行評估和驗證的過程，以確保其能夠正確地預測和分類資料。模型測試可以根據模型的型別和複雜度進行選擇，例如線性模型、樹狀模型或神經網路模型等。

指標測試

指標測試是指對系統或模型的效能指標進行評估和驗證的過程，以確保其能夠滿足使用者的需求。指標測試可以根據系統或模型的型別和複雜度進行選擇，例如準確率、精確率、召回率或F1分數等。

行為測試

行為測試是指對系統或模型的行為進行評估和驗證的過程，以確保其能夠正確地執行並滿足使用者的需求。行為測試可以根據系統或模型的型別和複雜度進行選擇，例如使用者介面測試、API測試或整合測試等。

LLM測試

LLM測試是指對大語言模型（LLM）進行評估和驗證的過程，以確保其能夠正確地生成和理解自然語言。LLM測試可以根據模型的型別和複雜度進行選擇，例如語言生成測試、語言理解測試或對話測試等。

測試型別

測試可以分為以下幾種型別：

手動測試

手動測試是指由人工進行測試的過程，以確保系統或模型能夠正確地執行並滿足使用者的需求。手動測試可以根據系統或模型的型別和複雜度進行選擇，例如使用者介面測試、API測試或整合測試等。

自動測試

自動測試是指使用工具或指令碼進行測試的過程，以確保系統或模型能夠正確地執行並滿足使用者的需求。自動測試可以根據系統或模型的型別和複雜度進行選擇，例如單元測試、整合測試或UI測試等。

從技術架構視角來看，本文涵蓋了模型測試的諸多導向，從開放封閉設計原則到生產環境監控，以及資料品質管控的重要性。分析了不同測試方法的優缺點，包括探索性測試、自動化測試，以及如何透過資料和模型為中心的方法來改進模型。此外，文章也強調了降低錯誤預測的風險以及成本敏感學習技術的應用，例如過度抽樣和不足抽樣。然而，文章對於不同測試方法的程式碼示例略顯簡略，未能充分展現各方法的實際應用場景和複雜性。展望未來，隨著模型複雜度的提升和應用場景的多樣化，更精細化、自動化的測試方法以及更全面的監控體系將成為發展趨勢。玄貓認為，除了技術層面的提升，更需要關注測試策略的制定和實施，才能真正確保機器學習模型的品質和可靠性。對於追求高效能和高可靠性的團隊，建議深入研究成本敏感學習和模型監控技術，並將測試驅動開發的理念融入到整個模型開發生命週期中。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。