在人工智慧系統的開發過程中，效能和精確度是兩個至關重要的指標。系統需要在有限的資源下快速執行，同時確保輸出結果的準確性和可靠性。提升效能的策略包含服務重新組態和動態模型替換，以應對資源過載的情況。對於基礎模型，其龐大的規模對計算成本、推理速度和能耗帶來挑戰，需要透過模型蒸餾、剪枝等技術進行最佳化。精確度則可透過多種指標來評估，例如分類別模型中的準確率、精確率、召回率和 F1 分數，以及迴歸模型中的 MSE、RMSE、MAE 和 R-squared。評估大語言模型的精確度則可採用 GLUE、SuperGLUE 和 MMLU 等基準測試。重複性也是評估非決定性系統的重要指標，需要多次執行和統計分析。改善精確度的方法涵蓋模型架構設計、超引數調整和資料準備等方面。多模型決策和共識協定可以提升模型可靠性，而超引數的選擇則需考量其對模型精確度的影響。資料準備的挑戰包括選擇足夠且具有代表性的訓練資料，以及避免資料偏差。此外，基礎模型的應用也需考量其泛化性、一致性以及測試資料的選擇，以確保模型在不同領域和任務中的有效性和可靠性。
效能最佳化與準確度考量
在人工智慧系統中，效能最佳化和準確度是兩個密切相關的重要議題。效能最佳化涉及如何在有限的計算資源下，盡可能地提高系統的執行速度和效率，而準確度則關注系統輸出的正確性和可靠性。
服務重新組態
當某個元件過載時，可以透過擴充套件機制來分配額外的資源，以提高效能。另一種方法是使用不同的 AI 模型。如果一個模型持續過載，可以動態地替換為另一個具有相同功能的模型。這種方法不僅可以提高效能，也可以用於正確性檢查和資源利用率的目的。
基礎模型的效能考量
基礎模型（Foundation Models, FMs）由於其龐大的規模，對資源使用有著重要的影響。其中一些影響包括：
- 計算成本：訓練基礎模型需要大量的資料和計算能力，這可能很昂貴且耗時，尤其是在資源受限的環境中。研究人員正在不斷努力改進訓練演算法和硬體最佳化技術，以應對這個挑戰。
- 推理速度：基礎模型雖然強大，但執行它們可能很耗費計算資源，這可能導致實時應用的反應時間變慢。技術如模型蒸餾和剪枝被用來建立更小、更快的模型，這些模型繼承了原始基礎模型的能力。
- 能耗：訓練和執行基礎模型的高計算成本轉化為顯著的能耗，這是人工智慧使用增加時的一個日益關注的問題。研究人員正在探索開發更節能的訓練方法和硬體架構的途徑。
精確度 (Accuracy)
精確度是 AI 系統的另一個關鍵方面，通常指模型輸出的品質，即 AI 系統的預測或輸出與期望結果的匹配程度。
評估精確度的核心指標
- 分類模型:
- 準確率 (Accuracy): 正確預測的比例。
- 精確率 (Precision): 預測為正的樣本中，實際為正的比例。
- 召回率 (Recall): 實際為正的樣本中，被正確預測的比例。
- F1 分數 (F1 Score): 精確率和召回率的調和平均數。
- 迴歸模型:
- 平均平方誤差 (MSE): 預測值與實際值之差的平方的平均值。
- 均方根誤差 (RMSE): MSE 的平方根，與原始資料尺度相同。
- 平均絕對誤差 (MAE): 預測值與實際值之差的絕對值的平均值。
- R-squared (R2): 解釋變異數的比例，衡量模型擬合優度。
AI 系統最佳化策略心智圖
圖表描述 (Alt Text): 此心智圖展示了AI系統效能最佳化與精確度提升的全面策略，涵蓋效能最佳化（服務重新組態、基礎模型考量）和精確度提升（評估指標、改善方法、資料準備）等關鍵面向。
精確度評估與改善
評估大語言模型（FMs）或其微調任務特定模型的精確度比其他 AI 模型更為複雜，因為它們具有多樣的能力和多變的輸出。以下將展示一些 LLM 特定的衡量指標。
評估方法
- 通用語言理解評估（GLUE）和 SuperGLUE：這些基準被廣泛用於評估多種 NLP 任務的效能，包括句子完成、情感分析、問答等。
- 大規模多工語言理解測試（MMLU）：MMLU 衡量語言模型在廣泛任務和主題上的效能，評估其一般知識和問題解決能力。它透過評估模型在數學、歷史、科學等領域的多選題正確率來提供對模型專業知識和多樣性的洞察。
重複性
重複性是指在相同條件下，對相同輸入產生相同輸出的能力，這是決定性系統的特徵。然而，許多系統可能不是決定性的，因為時間差異或其他因素的影響。測量非決定性系統的效能，例如使用基準測試，需要多次執行和統計分析。根據機器學習的 AI 系統可能是非決定性的，因為許多 ML 演算法在訓練過程中依賴於隨機性，如初始化權重或選擇最佳化路徑。這些隨機元素即使對相同輸入也可能導致不同的輸出。此外，在某些 AI 應用中，如創意寫作或生成替代計劃和建議，相同輸入的輸出變異性實際上是可取的，以便探索不同的替代方案。
改善精確度的方法
採用生命週期方法來討論如何改善精確度。
模型架構設計
在第 7 章《可靠性》中，我們討論了使用多個模型和投票機制來增加可靠性。這些技術也適用於增加精確度。特別是，使用多個模型（稱為多模型決策）執行相同任務或啟用單一決策，可以定義共識協定來做出最終決策，例如採取多數票。另一種策略是隻接受所使用模型的相同結果。此外，終端使用者或操作員可以審查多個模型的輸出，並根據人類專業知識做出最終決策。
超引數
超引數的選擇對模型的精確度有重大影響。具有學習率超引數的模型對此選擇敏感。學習率過高會導致模型輸出問題。另一個問題是，超引數選擇的影響可能難以預測。最後，根據模型選擇，超引數選擇可能導致過度適應或不足適應。例如，在隨機森林中，樹木數量過高可能導致過度適應，而樹木數量過少可能導致不足適應。
資料準備
準備資料以提高精確度面臨三個挑戰：1）選擇足夠的訓練資料，2）選擇能代表模型將要使用的實際資料的資料，以及 3）在一定程度上，選擇不含偏見的資料。此外，模型應當在輸出時給出準確的結果，即使面臨新的、未見過的資料。
透過以上方法，可以有效地提高 AI 模型的精確度和可靠性，從而更好地服務於實際應用中。
資料準備與模型評估
在進行機器學習模型的建立之前，資料的準備是非常重要的步驟。這包括了資料的預處理、特徵工程、模型的選擇以及評估指標的選定。在這個過程中，我們需要考慮到資料的品質、資料分佈、特徵之間的相關性等因素，以確保模型能夠學習到有效的模式並對未知資料進行良好的預測。
資料預處理
資料預處理是指對原始資料進行清理、轉換和格式化，以使其適合於模型的訓練。這包括了處理缺失值、異常值、類別變數的編碼等步驟。例如，對於缺失值，可以使用插補法（imputation）來填充；對於異常值，可以使用 Winsorization 或是刪除異常值的方法。
特徵工程
特徵工程是指從原始資料中提取出有用的特徵，以提高模型的效能。這包括了特徵選擇、特徵建立和特徵轉換等步驟。例如，對於類別變數，可以使用 one-hot encoding 或 label encoding 來轉換；對於數值變數，可以使用標準化（standardization）或正規化（normalization）來縮放。
模型評估
模型評估是指使用評估指標來評估模型的效能。常用的評估指標包括了準確率（accuracy）、精確率（precision）、召回率（recall）、F1 分數（F1 score）等。在進行模型評估時，需要將資料分割成訓練集、驗證集和測試集，以避免過度擬合（overfitting）。
FM 基礎系統
FM 基礎系統是指使用基礎模型（Foundation Model）作為基礎，進行特定任務的微調和應用。基礎模型是一種大規模的預訓練模型，可以用於多種任務。然而，基礎模型也存在著一些挑戰，例如泛化性、不一致性和測試資料的選擇等問題。
一般化跨領域
基礎模型雖然可以用於多種任務，但其效能可能會因為領域的不同而有所變化。因此，需要對基礎模型進行微調和特定領域的適應，以提高其效能。
不一致性結果
基礎模型可能會產生不一致性的結果，這是因為其內部機制的隨機性和訓練資料的不一致性所導致。因此，需要對基礎模型的輸出進行評估和校正，以確保其結果的一致性。
測試資料的選擇
在使用基礎模型時，需要選擇適合的測試資料，以評估其效能。然而，基礎模型的預訓練過程可能會使用到未知的測試資料，因此需要小心地選擇測試資料，以避免過度擬合和保證模型的泛化性。
從效能最佳化與模型精確度提升的角度來看，本文深入探討了平衡 AI 系統資源消耗與預測準確性的策略。分析了服務重新組態、基礎模型的效能考量以及多種準確度評估指標，例如精確率、召回率、F1 值等，並針對不同模型型別（分類別與迴歸）提供了相應的指標建議。此外，文章也指出了基礎模型的固有挑戰，包含泛化性、一致性以及測試資料選擇的難題。目前，模型蒸餾、剪枝等技術能有效降低基礎模型的資源需求，但如何在維持高效能的同時，兼顧模型的精確度和穩定性仍是一大挑戰。玄貓認為，未來發展應著重於開發更精細化的效能調校方法以及更具代表性的評估基準，才能有效提升 AI 系統在實際應用場景的可靠性和價值。對於追求高效能的企業，建議優先針對特定應用場景微調基礎模型，並結合多模型決策機制來提升預測準確性和穩定性，如此才能在有限資源下最大化 AI 效益。
