在邊緣裝置資源有限的情況下，執行 AI 模型需要有效利用快取機制、動態調整資源以及執行運算遷移等策略。透過這些方法，可以減少重複計算、降低資源需求並提升計算速度。同時，硬體層面的 AI 晶片加速也能提升邊緣裝置的 AI 計算能力，讓模型執行更有效率。模型選擇也至關重要，選擇輕量級模型如決策樹或小型語言模型，能有效降低資源消耗並維持一定的準確度。此外，現有的高效模型架構如 MobileNet 和 ShuffleNet，也能在效能和資源消耗之間取得平衡。
人工智慧在邊緣裝置的最佳化
在人工智慧（AI）應用中，邊緣裝置（edge devices）扮演著越來越重要的角色。這些裝置通常具備有限的計算資源，但透過最佳化設計，可以有效地執行 AI 模型。為了達到這一目標，需要考慮多個因素，包括模型的複雜度、計算資源的可用性以及實時性要求。
快取機制
快取機制可以用於儲存特定獨立變數的計算結果，以避免重複計算。然而，快取可能會過時，如果原始資料發生變化，快取就需要更新以保持一致性。因此，在設計中需要考慮快取和底層資料來源之間的一致性。
邊緣裝置的 AI 計算
許多邊緣裝置，包括流行的手機和筆電，現在都配備了特殊的 AI 計算晶片。這些晶片可以加速 AI 計算，使得邊緣裝置能夠更有效地執行 AI 任務。如果系統中的邊緣裝置具備這些資源，架構設計就可以利用這些資源來最佳化 AI 計算。
動態資源調整
透過動態調整模型的複雜度，可以在邊緣裝置上減少資源需求。例如，可以使用功能降級的方法來調整模型的複雜度，以達到可接受的效率。監控元件可以根據不同的模型和資源需求進行模式切換。此外，軟體聯結器可以作為模型切換器，根據實際情況選擇合適的 AI 模型。
運算遷移
將運算從一個位置遷移到另一個位置也可以最佳化 AI 計算。例如，將運算從較慢的處理器遷移到更快的處理器，可以加速計算或降低網路延遲。為了實作這一點，需要有一個監控和適應元件，可以根據實際情況做出遷移決策。
模型開發
在考慮模型的資源需求時，需要同時考慮訓練和推理階段的資源需求。降低模型的資源使用量，可以使其佈署在邊緣裝置上。邊緣裝置雖然計算能力有限，但可以執行相應的模型，尤其是那些大小和複雜度較小的模型。
模型選擇
較簡單的模型，如決策樹或樸素貝葉斯，通常需要較少的計算資源和記憶體來訓練和執行。這些簡單模型在某些任務上可能會達到與複雜模型相似的準確度，但更加節省資源。同時，也有一種趨勢，即從大語言模型（LLMs）轉向小型語言模型（SLMs），以達到更高的資源效率。
現有模型架構
已經有許多現有的、高效的模型架構，如 MobileNet 或 ShuffleNet。這些架構在保持效能的同時，大大降低了計算資源的需求。透過選擇合適的模型架構和最佳化設計，可以更好地利用邊緣裝置的計算資源，從而提高 AI 應用的效率和實時性。
圖表翻譯：
graph LR
A[邊緣裝置] -->|最佳化|> B[AI計算]
B -->|快取機制|> C[減少重複計算]
B -->|動態資源調整|> D[降低資源需求]
B -->|運算遷移|> E[加速計算]
E -->|監控和適應|> F[根據實際情況做出決策]
內容解密：
以上內容介紹瞭如何在邊緣裝置上最佳化 AI 計算，包括使用快取機制、動態調整模型複雜度、運算遷移等方法。同時，也提到了模型開發和選擇的重要性，以及現有高效模型架構的應用。透過這些方法和技術，可以更好地利用邊緣裝置的計算資源，提高 AI 應用的效率和實時性。
最佳化模型效能：從選擇到佈署
在開發人工智慧模型時，尤其是針對移動和嵌入式裝置，資源的限制是個重要考量。選擇合適的模型不僅影響模型的準確度，也影響了後續的生命週期，包括模型生成、特徵工程和佈署。
模型選擇
不同的模型有不同的訓練速度和資源需求。例如，決策樹因其快速的訓練速度，非常適合需要快速回應的實時應用。另一方面，深度學習模型雖然可能需要更多資源，但它們可以自動從資料中提取特徵，減少手動特徵工程的需要，這是一個耗時且耗資源的步驟。
在佈署方面，選擇一個佔用空間較小（即記憶體使用量較低）的模型對於資源有限的裝置（如手機或嵌入式系統）至關重要。
超引數調整
超引數可以調整以減少模型訓練和執行的資源需求。某些超引數控制著模型的訓練迭代次數。例如，調整梯度下降演算法中的學習率可以加速收斂，從而減少訓練時間。
正則化超引數，如 L1 或 L2 懲罰，可以透過防止過擬合來加速訓練並可能降低訓練過程中的記憶體使用量。
早停止是一種可以用作超引數的技術，它透過監視模型在驗證集上的效能來決定何時停止訓練。如果驗證效能在一定數量的 epoch（迭代）後沒有改善，則停止訓練。這有助於避免過擬合並減少不必要的計算。
降低引數的精確度也可以減少執行需求，儘管這可能會以犧牲模型輸出的準確度為代價。
模型準備
模型準備既耗時又耗資源。以下是一些減少訓練和執行資源需求的技術：
使用代表性樣本: 代替使用整個資料集，使用一個代表性樣本進行訓練。這可以顯著減少訓練時間和記憶體使用，尤其是對於大型資料集。可以使用隨機取樣或分層取樣等技術，取決於問題的性質。
降維技術: 像主成分分析（PCA）或 t-分佈隨機鄰域嵌入（t-SNE）這樣的技術可以在保留最重要資訊的同時減少資料中的特徵數量。這可以導致更快的訓練和可能更小的可佈署模型。
標準化特徵: 將特徵標準化為共同尺度可以改善某些演算法的效能，並可能導致更快的訓練收斂。
簡單轉換: 在建立新特徵時，優先使用簡單的轉換，如縮放、分箱或基本數學運算。這些運算計算上比複雜計算更便宜。
分類別特徵: 對於連續值特徵，將其放入桶中而不是使用原始值，可以減少模型需要處理的唯一值數量。
編碼技術: 對於只有少數類別的特徵，可以使用標籤編碼或序數編碼等技術，使訓練更加高效。
高基數特徵: 對於基數非常高的特徵，可以使用雜湊等降維技術來減少基數，並因此而提高效率。
透過仔細選擇模型、調整超引數和準備資料，開發人員可以建立出在資源有限的裝置上高效執行的人工智慧模型。這些最佳化不僅可以節省資源，也可以提高模型的回應速度和整體效能。
最佳化模型計算效率的技術
為了提高模型計算的效率，主要的技術手段包括利用平行處理。其中兩種重要的技術是：（i）在推理過程中同時處理多個資料點（批次處理），以及（ii）使用延遲載入或模型檢查點以在執行時只載入模型的必要部分。
在營運 AI 系統時，會從監控子系統中收集資訊。這些資訊可以用來改善效率和資源利用率。以下是這些資訊的一些用途，我們將在下面進行討論：生成警示、縮放、重新分配、引數重置。
警示系統
組織和使用者依賴於系統，如果系統不能提供所需的功能，組織的業務可能會受到影響，或者使用者可能無法獲得他們付費的服務。為了減輕這種風險，組織和使用者會與開發和交付系統的組織簽署服務級別協定（SLA）。SLA 確定了一個指標（例如，服務請求延遲）和一個閾值（例如，99%的請求將在 300 毫秒內收到回應）。典型的協定包含許多這樣的指標/閾值要求。如果客戶位於提供商組織之外，這些 SLA 可能是法律契約的一部分，提供商可能需要對客戶進行補償，如果系統不可用、不安全或效能差。
由於違反 SLA 對於開發和交付組織是一件重大事件，大多陣列織會將滿足 SLA 的要求分配給系統內的服務。
服務級別目標（SLO）
您不希望被玄貓驚訝，所以您設定了一個更嚴格的閾值，用於內部監控目的。這就是服務級別目標（SLO）。SLO 給您一些呼吸空間。如果您違反 SLO，您有一些時間來修復問題，然後再違反 SLA。
SLO 中的一些典型關注領域包括：
- 延遲和吞吐量
- 流量：單位時間內到達您的服務的請求數 *飽和度：您的服務依賴的資源（CPU、網路、記憶體）的利用率
- 系統健康指標，例如不健康主機的數量或百分比
您應該為“良好”的 SLO 值定義一個基準。這將為您設定的閾值提供值。
如果閾值被違反，則會向第一回應者傳送警示。這個第一回應者目前是一個人，但可以預見的是，這個功能可以在未來自動化。第一回應者會檢查請求和回應的歷史記錄，以確定導致警示的問題所在。第一回應者的責任有兩個：解決即時問題和確定根本原因，以便問題不再發生。解決即時問題是在實時進行的，但找到根本原因可能需要進行廣泛的調查，並涉及多個不同的角色。
資源縮放
我們在第 2 章中討論了自動縮放。自動縮放器的動作根據資源使用量的測量，並具有閾值，就像剛剛討論的一樣。這些閾值可能與用於警示的閾值相同，也可能不同。
內容解密：
上述內容介紹了最佳化模型計算效率的技術，包括批次處理和延遲載入，以及服務級別協定（SLA）和服務級別目標（SLO）的概念。同時，也討論了資源縮放和自動縮放器的作用。這些技術和概念對於確保 AI 系統的高效執行和可靠性至關重要。
圖表翻譯：
graph LR
A[模型計算] --> B[批次處理]
B --> C[延遲載入]
C --> D[資源縮放]
D --> E[自動縮放器]
E --> F[服務級別協定]
F --> G[服務級別目標]
上述 Mermaid 圖表展示了模型計算效率最佳化技術之間的關係，包括批次處理、延遲載入、資源縮放、自動縮放器、服務級別協定和服務級別目標。這些技術和概念相互關聯，共同確保 AI 系統的高效執行和可靠性。
從商業價值視角來看，邊緣 AI 的最佳化策略直接影響其商業應用潛力。分析模型輕量化、硬體加速和資源排程等關鍵技術，我們發現，平衡效能與成本是邊緣 AI 普及的關鍵挑戰。輕量化模型雖降低了運算門檻，但在特定場景下可能犧牲準確性；硬體加速雖提升了效率，但增加了佈署成本。此外，動態資源排程雖然能最佳化資源利用率，但其複雜度也提升了系統設計難度。隨著模型壓縮技術的進步和專用 AI 晶片的普及，邊緣 AI 的成本效益比將持續提升。玄貓認為，聚焦特定應用場景，發展軟硬體協同最佳化方案，是邊緣 AI 商業化落地的關鍵。
