隨著人工智慧系統日益複雜，效能管理成為影響系統效率和有效性的關鍵因素。本文旨在探討如何衡量和最佳化 AI 系統的效能，並介紹相關技術與案例。從模型簡化、平行處理到記憶體最佳化和資料預處理，這些技術都能有效提升系統效能。此外，文章也分析了訓練階段與推理階段的資源利用效率差異，並說明如何針對不同階段進行最佳化，以降低成本和能耗，同時兼顧模型準確性與計算效率。
8.1 效能管理的重要性
效能管理是系統設計和開發中的一個關鍵方面。正如「不能衡量的東西就不能被管理」這句話所說，效能管理的第一步就是衡量系統的效能。這包括收集和分析資料，以瞭解系統的行為和瓶頸。
在人工智慧（AI）系統中，效能管理尤為重要。因為 AI 系統通常涉及複雜的演算法和大量的資料，效能問題可能會對整個系統的效率和有效性產生重大影響。因此，瞭解如何衡量和最佳化 AI 系統的效能是非常重要的。
8.2 效能衡量指標
在評估 AI 系統的效能時，有幾個關鍵指標需要考慮。這些指標包括：
- 執行時間：AI 系統完成特定任務所需的時間。
- 記憶體使用率：AI 系統執行時所佔用的記憶體空間。
- 吞吐量：AI 系統在單位時間內可以處理的資料量。
- 準確率：AI 系統對資料的預測或分類別準確度。
這些指標可以幫助開發者瞭解 AI 系統的效能瓶頸，並有針對性地進行最佳化。
8.3 效能最佳化技術
最佳化 AI 系統的效能需要採用多種技術。以下是一些常見的方法：
- 模型簡化：簡化 AI 模型的複雜度，可以減少計算資源的消耗。
- 平行處理：使用多核心或分散式計算技術，可以加速 AI 系統的執行速度。
- 記憶體最佳化：最佳化 AI 系統的記憶體使用率，可以減少記憶體溢位的風險。
- 資料預處理：對資料進行預處理，可以減少 AI 系統的計算負擔。
這些技術可以根據具體的情況選擇採用，以達到最佳的效能最佳化效果。
8.4 案例研究：最佳化影像分類別模型的效能
假設我們有一個影像分類別模型，需要最佳化其效能。首先，我們需要收集和分析資料，以瞭解模型的瓶頸所在。然後，我們可以採用模型簡化、平行處理等技術來最佳化模型的效能。
例如，我們可以簡化模型的架構，減少引數的數量，以降低計算資源的消耗。或者，我們可以使用平行處理技術，加速模型的執行速度。同時，我們也需要注意記憶體使用率，避免記憶體溢位的風險。
透過這些最佳化技術，我們可以顯著提高影像分類別模型的效能，從而提高整個 AI 系統的效率和有效性。
內容解密：
本章主要討論了 AI 系統的效能管理，包括效能衡量指標、效能最佳化技術等相關內容。透過案例研究，我們演示瞭如何最佳化影像分類別模型的效能，以提高整個 AI 系統的效率和有效性。
圖表翻譯：
graph LR
A[開始] --> B[收集資料]
B --> C[分析資料]
C --> D[最佳化模型]
D --> E[評估效能]
E --> F[迴圈最佳化]
本圖表示了 AI 系統效能最佳化的流程，從收集資料開始，到分析資料、最佳化模型、評估效能，最後迴圈最佳化，以達到最佳的效能最佳化效果。
效能與準確性：軟體工程與人工智慧的兩難
在軟體工程中，效能通常指的是計算效率，包括速度和可擴充套件性。它關注的是計算如何快速執行，以及需要多少資源，如 CPU 和能源。然而，在人工智慧（AI）中，效能的含義卻不同，它通常指的是模型輸出的準確性。這兩種對效能的解釋在很多方面是矛盾的，因為提高準確性往往需要更多的計算，而提高效率卻可能需要犧牲一些準確性。因此，設計師必須在這兩者之間做出權衡。
效率：軟體系統的核心
效率是指軟體系統能夠有效利用資源同時保持可接受的速度和回應時間，並滿足其功能需求。它涉及多個基本概念，包括：
吞吐量
吞吐量是指系統在特定時間內能夠處理的任務或事務數量。它衡量了系統能夠處理多少工作，通常以事務每秒、請求每秒等單位量化。對於大語言模型（LLM）API，吞吐量指的是 API 每秒能夠處理的請求或令牌數（例如，文字處理、語言生成），跨越使用者數量和總請求數。
延遲
延遲是指系統完成單一任務或事務所需的時間。它衡量了回應時間，從請求初始化到結果交付。對於 LLM API，延遲是指模型生成完整回應所需的總時間，包括使用者輸入查詢後開始看到模型輸出的時間（Time To First Token, TTFT），以及生成每個輸出令牌所需的時間（Time Per Output Token, TPOT）。
延遲可以計算為 TTFT 與 TPOT 乘以要生成的令牌數之和。
可擴充套件性
可擴充套件性是指軟體系統能夠在不降低效能或需要架構重新設計的情況下處理增加的工作負載。 在 AI 系統中，可擴充套件性包括兩個概念：訓練可擴充套件性和推理可擴充套件性。
訓練可擴充套件性是指能夠有效且高效地訓練 AI 模型，而不論訓練任務大小（如模型引數數、資料量和計算資源）如何增加。推理可擴充套件性是指能夠有效且高效地佈署和執行 AI 系統進行推理，而不論模型大小或實時請求數量如何增加。
資源利用率
資源利用率是指系統使用資源（如 CPU、記憶體和能源）的效率。它直接影響著系統的效率和可擴充套件性。最佳化資源利用率可以提高系統的整體效能和可靠性。
人工智慧系統的資源利用效率
人工智慧（AI）系統的資源利用效率是指系統如何有效地使用計算資源，例如 CPU、記憶體和 I/O 操作。在 AI 系統中，資源利用效率在訓練階段和推理階段之間有著顯著的差異，每個階段都有其自己的需求和限制。
訓練階段的資源利用效率
在 AI 模型的訓練階段，關注的是如何有效地使用計算資源，例如 CPU 和 GPU 的計算能力、記憶體和儲存空間。這個階段可能需要大量的資源，特別是對於複雜的模型。例如，訓練一個大語言模型（LLM）需要大量的計算能力和記憶體，因為模型的大小和複雜性，以及需要處理的大量資料。使用價值超過 1 億美元的資源來訓練一個單個、最先進的 LLM 並不罕見。
推理階段的資源利用效率
在推理階段，模型的效率在進行預測、生成輸出或處理新資訊方面變得重要。在資源豐富的環境中（例如雲端或伺服器基礎系統），主要關注的是成本效率。即使是小的資源使用效率問題也可能導致大量的成本當系統擴充套件時。相反，在邊緣 AI 場景中（例如在個人電腦、移動裝置或嵌入式系統上佈署），限制往往是可用的計算資源。在這種情況下，挑戰是如何在這些資源限制下執行 AI 模型，包括可能複雜的模型如 LLM。
AI 系統的效率表現
AI 系統的效率表現是多導向的，包括：
- 訓練時間：訓練 AI 模型所需的時間，可以對於複雜模型而言非常長。
- 推理時間（延遲）：模型進行預測或生成輸出的時間。
- 模型大小：對於邊緣 AI 尤其重要，因為較小的模型通常更快、更節能，但通常以輸出品質降低為代價。
- 能源效率：在移動或邊緣 AI 應用中，能量消耗是一個關鍵考量因素。
提高效率的方法
提高 AI 系統效率的一種方法是對映系統的資源需求（計算和網路）到提供給系統的資源上。因此，提高效率就是減少資源需求或利用更強大的資源。資源成本金錢，因此額外的約束是可用的資源預算。
並非總是需要更低的延遲或更高的吞吐量。您的系統有特定的負載和延遲、吞吐量的預期值。從效率角度來看，只需要滿足這些要求即可。例如，200 毫秒的延遲對於大多數人類互動來說似乎是瞬間的。設計一個互動式系統以低於 200 毫秒的延遲回應是不必要的，也可能更複雜、更難理解。
我們按照生命週期組織討論提高效率的方法，並從架構設計開始。
架構設計
許多設計技術都可以用來控制資源使用。與 AI 系統部分相關的技術包括減少網路延遲的方法：
- 使用 GraphQL 等介面風格來減少邊緣裝置（如智慧手機）與其支援資料中心之間的通訊需求。
- 將頻繁通訊的容器放在同一個執行時引擎上，可以消除通訊跨網路傳輸的需求。同樣，將頻繁通訊的虛擬機器（VM）放在同一個主機上，可以防止通訊跨出該主機。放在同一個機架上的 VM 之間的通訊速度比放在不同機架或資料中心上的 VM 之間更快。
- 快取是一種減少通訊需求的技術。快取會在服務中儲存原本需要透過通訊請求才能取得的值。記憶體存取比網路存取更快。例如，可以快取 IP 地址以避免需要網路存取的發現過程。模型輸出的快取可以避免重新計算。
訓練階段最佳化
在訓練階段，可以採用多種最佳化技術以提高效率，例如：
- 混合精確度訓練：使用不同的資料型別（如 FP16、INT8）來減少記憶體使用和計算需求。
- 模型剪枝：移除模型中不重要的神經元和連線，以減少計算需求。
- 知識蒸餾：從一個大型模型中提取知識，並將其轉移到一個小型模型中，以減少計算需求。
推理階段最佳化
在推理階段，可以採用多種最佳化技術以提高效率，例如：
- 模型壓縮：減少模型大小以加快推理速度和降低記憶體使用。
- 硬體加速：使用專用硬體（如 GPU、TPU）來加速推理過程。
- 批次處理：一次處理多個輸入，以提高吞吐量和降低延遲。
能源效率最佳化
在能源效率方面，可以採用多種最佳化技術，例如：
- 動態電壓和頻率調整：根據工作負載調整硬體的電壓和頻率，以降低能耗。
- 功耗預算：設定功耗預算，以限制系統的最大功耗。
- 能量收集：使用能量收集技術來回收和重用能量，以降低整體能耗。
透過採用這些最佳化技術，可以顯著提高 AI 系統的效率，降低成本和能耗，並提高整體效能。
從系統資源消耗與處理效率的雙重角度來看，提升 AI 系統的效能管理是確保其商業價值的關鍵。分析模型訓練與推論階段的資源利用效率，可以發現，不論是雲端佈署或邊緣裝置應用，效能最佳化都直接影響成本效益與使用者經驗。技術限制深析顯示，模型複雜度與效能需求之間存在固有的矛盾，需要在準確性、延遲和吞吐量之間尋求平衡。
整合模型簡化、混合精確度訓練、硬體加速等最佳化技術，能有效提升 AI 系統的資源利用率，並降低營運成本。此外，考量模型大小、能源效率等導向，對於邊緣 AI 的應用至關重要。技術演進預測顯示，隨著模型規模的持續擴大與應用場景的多樣化，專用硬體加速和更精細的功耗管理方案將成為未來研究的重點。
玄貓認為，AI 系統的效能最佳化是一項持續迭代的工程，開發團隊應密切關注新興技術，並根據實際應用場景調整最佳化策略，才能在快速發展的 AI 領域保持競爭力。
