機器學習是人工智慧領域的核心技術，旨在讓電腦從資料中學習並提升效能，無需明確程式設計。其應用範疇廣泛，涵蓋影像識別、語音處理、文字分析等。依據資料標記與否，機器學習分為監督、無監督和半監督學習。監督學習利用標記資料訓練模型進行預測，無監督學習則從未標記資料中探索模式和結構，而半監督學習則結合兩者，利用少量標記資料和大量未標記資料提升模型效能。評估機器學習模型的效能至關重要，特別是分類別器的效能評估，需要客觀衡量其區分不同類別的能力。
玄貓：機器學習基礎
機器學習是人工智慧的一個分支，旨在使電腦系統能夠從經驗中學習，而不需要被明確地程式設計。它是一種透過使用資料來改善電腦系統效能的方法，讓電腦能夠自動地從資料中學習和改進。
監督學習
監督學習是一種機器學習方法，指的是使用已標記的資料來訓練模型，以便模型能夠對新資料進行預測。這種方法需要大量的標記資料，才能使模型學習到正確的模式。
監督學習的步驟
- 資料收集：收集大量的標記資料，用於訓練模型。
- 資料預處理：對收集到的資料進行預處理，例如清除噪音、缺失值等。
- 模型訓練：使用預處理後的資料訓練模型。
- 模型評估：使用驗證集評估模型的效能。
- 模型最佳化：根據評估結果最佳化模型的引數。
監督學習的應用
- 影像分類別：使用監督學習來分類別影像，例如辨識物體、場景等。
- 語音識別：使用監督學習來識別語音，例如語音助手等。
- 文字分類別：使用監督學習來分類別文字，例如垃圾郵件過濾等。
無監督學習
無監督學習是一種機器學習方法，指的是使用未標記的資料來訓練模型，以便模型能夠發現資料中的模式。
無監督學習的步驟
- 資料收集：收集大量的未標記資料，用於訓練模型。
- 資料預處理：對收集到的資料進行預處理，例如清除噪音、缺失值等。
- 模型訓練：使用預處理後的資料訓練模型。
- 模型評估：使用驗證集評估模型的效能。
無監督學習的應用
- 客戶分群：使用無監督學習來分群客戶，例如根據購買行為等。
- 推薦系統：使用無監督學習來推薦商品或服務，例如根據使用者偏好等。
- 異常檢測：使用無監督學習來檢測資料中的異常，例如金融交易中的異常等。
半監督學習
半監督學習是一種機器學習方法，指的是使用既有標記資料又有未標記資料來訓練模型，以便模型能夠利用標記資料和未標記資料共同學習。
半監督學習的步驟
- 資料收集：收集既有標記資料又有未標記資料，用於訓練模型。
- 資料預處理：對收集到的資料進行預處理，例如清除噪音、缺失值等。
- 模型訓練：使用預處理後的資料訓練模型。
- 模型評估：使用驗證集評估模型的效能。
半監督學習的應用
- 影像分類別：使用半監督學習來分類別影像，例如辨識物體、場景等。
- 語音識別：使用半監督學習來識別語音，例如語音助手等。
- 文字分類別：使用半監督學習來分類別文字，例如垃圾郵件過濾等。
無監督學習與半監督學習
無監督學習是一種機器學習方法，旨在從未標記的資料中發現隱藏的模式和結構。這種方法不需要事先標記的資料，而是透過分析資料本身的特徵和關係來學習。無監督學習常用於資料探索、客戶分群和異常檢測等應用。
無監督學習的目標是將輸入資料對映到一組表示或聚類別中。這種方法探索資料內在的關係和相似性，以發現聚類別、模式或表示，從而提供對資料底層結構的洞察。與監督學習不同，監督學習需要標記的資料來引導學習過程，而無監督學習則僅依靠輸入資料來自主地識別有意義的模式和提取有價值的資訊。
無監督學習方法的應用包括社交媒體社群發現和生物複雜體發現等，這些應用適合用於探索性資料分析。給定一組物體及其描述特徵，無監督學習的任務是將相似的物體分組在一起，使得同一組內的相似度高，而不同組之間的相似度低。這可能導致形狀、顏色等特徵的分組。
在設計無監督學習方法時，近似度衡量指標發揮著關鍵作用。近似度衡量指標的精確性和表達能力直接影響聚類別分析的效果。成功的近似度衡量指標還受到資料維度、例項數量和使用目的等因素的影響。理想的無監督學習方法應具有輸入順序獨立性、有效的噪聲處理、邊界物體處理能力，以及低引數依賴性等特點。
半監督學習則佔據了監督學習和無監督學習之間的中間位置。當只有有限的標記例項可用時，半監督學習嘗試使用標記和未標記例項來開發預測模型，以確保最佳可能的準確性。半監督學習方法使用少量標記例項來訓練模型，然後使用這個模型來標記大量未標記例項。這個過程可以迭代進行，以提高模型的效能。
形式定義
半監督學習可以被形式地定義為：給定一個有限的標記訓練例項集和一個更大的未標記例項集，演算法學習一個函式，將每個未標記例項對映到一個輸出或目標變數。
應用與挑戰
半監督學習在實際應用中非常有用，特別是在獲得大量標記例項困難的情況下。然而，當可用的標記資料極少時，也存在過擬合的風險，導致模型生成不準確的標籤。因此，建立一個信心閾值以確定哪些標記例項應該包含在重新訓練過程中至關重要。
總之，無監督學習和半監督學習都是機器學習中的重要分支，各自具有廣泛的應用領域和挑戰。瞭解這些方法可以幫助我們更好地利用資料資源，發現隱藏的模式和結構，並推動人工智慧技術的進步。
4.4 評估分類別器的效能
評估機器學習演算法的效能是機器學習的一個關鍵部分。以下，我們將討論如何評估監督式機器學習演算法，特別是分類別器的效能。評估分類別器的效能涉及量化分類別器區分不同類別的能力。
4.4.1 評估步驟
首先，我們需要訓練分類別器。為了訓練分類別器，我們需要標記資料或資料集。有許多資料集可供下載和使用，例如UCI機器學習倉函式庫和Kaggle。這些資料集包含了研究人員從各個領域收集和提交的資料，供其他人進行實驗和比較結果。
4.4.1.1 驗證
在模型訓練完成後，驗證步驟開始。驗證步驟使用一個單獨的驗證資料集（也稱為開發或保留資料集），用於微調超引數，選擇最佳模型架構，並防止過度擬合。超引數是控制模型學習方式的外部引數。超引數調優涉及選擇理想的超引數設定，以提高模型的效能和對未見資料的泛化能力。
4.4.1.2 測試
最終評估發生在測試階段，當模型已經透過驗證進行了微調。測試集應該與訓練集和驗證集不同。測試集作為模型在真實世界中的效能的無偏估計。測試階段的目的是確定模型在完全新的、未經測試的資料上的效能。
4.4.1.3 K折交叉驗證
當資料集沒有明確的訓練和測試子集時，通常的方法是將資料集隨機分成K個相等的部分或折。交叉驗證中，訓練和測試集不是預先指定的。整個資料集被隨機分成K個部分，其中一個部分被設為測試集，其他K-1個部分被用作訓練集。這樣執行K次實驗，然後將所有實驗的結果平均並報告。
4.4.2 處理不平衡類別
在許多資料集中，不同類別的例項可能是不平衡的。例如，一個資料集可能有兩個類別，其中95%的例項屬於一個類別。如果分類別器只是簡單地預測每個例項屬於多數類別，那麼它將獲得95%的準確率。但是，這種情況下，結果並不有效，因為分類別器沒有學習到任何有用的模式。
4.4.3 模型泛化
建立機器學習模型的目的是建立能夠在新的、未見過的資料上工作良好的模型，而不是隻是在訓練資料上取得令人印象深刻的結果。模型泛化的能力是指它能夠在新的、未見過的資料上取得準確預測的能力。如果模型過度擬合訓練資料，那麼它就不能很好地泛化到新的資料。
4.4.3.1 欠擬合
當模型無法捕捉資料中的基本模式或關係時，就會發生欠擬合。這種情況通常發生在訓練資料不足或模型過於簡單的情況下。
4.4.3.2 過度擬合
當模型在訓練資料上表現非常好，但在測試資料上表現差時，就會發生過度擬合。過度擬合發生在模型學習了太多細節，包括噪聲和錯誤，這使得它無法很好地泛化到新的資料。
為了避免過度擬合，可以使用早停（early stopping）、正則化（regularization）等技術來控制模型的複雜度，並確保它能夠在新的資料上取得良好的效能。
4.4.3.3 準確的模型擬合
理想的情況是，模型具有適當的擬合（圖 4.7(c)），使得模型在訓練和測試階段都能夠相對良好的表現。要實作準確的擬合，需要建立一個能夠有效捕捉資料中潛在模式和關係的模型，並且這個模型既不能太過複雜（過度擬合），也不能太過簡單（不足擬合）。找到這兩個極端之間的平衡點至關重要。複雜的模型可以捕捉訓練資料中的複雜模式，但可能難以泛化；而過於簡單的模型可能會忽略重要的趨勢。
在處理非線性可分類別問題時，一個相對簡單的非線性邊界（圖 4.7(c)）可能會獲得更好的泛化效果。一個簡單的非線性邊界關注於捕捉資料分佈的主要趨勢和形狀，而不會陷入每一個小的波動中，這樣可以防止模型過度專門化於訓練資料，並有助於它更好地泛化到未見的例項。因此，在訓練過程中允許一定程度的錯誤分類別通常對於實作平衡和準確的擬合是有益的。雖然這似乎違反直覺，但在訓練資料上努力達到零錯誤分類別可能會導致過度擬合。
4.4.4 評估指標
我們可以使用多種指標來量化分類別器的效能。常用的指標包括準確率、精確率、召回率和 F-measure。我們以下定義這些指標。假設只有兩個類別，即二元分類別器。為了理解下面的術語，假設第一個類別是正類別（例如，DOG 類別），第二個類別是負類別（例如，NOT-DOG 類別）。
- 正確正類別（TP）：測試集中被正確分類別為正類別的例項數量。
- 錯誤負類別（FN）：測試集中被錯誤分類別為負類別的正類別例項數量。
- 正確負類別（TN）：測試集中被正確分類別為負類別的負類別例項數量。
- 錯誤正類別（FP）：測試集中被錯誤分類別為正類別的負類別例項數量。
4.4.4.1 混淆矩陣
如果分類別器是二元的，即只有兩個類別，這四個值（TP、TN、FP、FN）可以表示為一個 2x2 的矩陣，稱為混淆矩陣（見圖 4.8）。在二元混淆矩陣中，第一行包含著實際正類別的數量，第二行包含著實際負類別的數量。第一列包含著預測（或分類別）為正類別的數量，第二列包含著預測為負類別的數量。
4.4.4.2 準確率
準確率被定義為測試集中被正確分類別的例項百分比。對於二元分類別：
準確率 = (TP + TN) / (TP + TN + FN + FP)
準確率代表了分類別器正確分類別的例項比例，但它可能不是評估分類別器效能的最佳指標，特別是在類別不平衡的情況下。
4.4.4.3 精確率和召回率
精確率和召回率是評估分類別器效能的另外兩個重要指標。精確率表示在所有被預測為正類別的例項中，真正是正類別的例項比例；召回率表示在所有真正是正類別的例項中，被正確預測為正類別的例項比例。
對於正類別：
精確率 = TP / (TP + FP)
召回率 = TP / (TP + FN)
這些指標提供了對分類別器效能更細緻入微的評估，幫助我們瞭解分類別器在不同方面的優缺點。
從內在修養到外在表現的全面檢視顯示，掌握機器學習基礎對於現代管理者而言，已不再是選項，而是提升決策力與長官力的必要技能。分析機器學習的三大類別：監督學習、無監督學習和半監督學習，我們發現其應用價值已深入商業決策、客戶關係管理、風險評估等核心業務環節。挑戰在於如何將理論知識轉化為實務應用，並在資料安全和倫理規範間取得平衡。玄貓認為，未來3-5年，結合特定產業知識的客製化機器學習解決方案將成為主流，而具備機器學習思維的管理者將引領企業發展。對於渴望提升競爭力的管理者，積極探索機器學習的應用場景，並培養資料分析能力至關重要。
