深度學習模型平行化最佳化與架構搜尋
本文探討深度學習模型的平行化與最佳化策略，涵蓋 MLP-Mixer 的工作原理、模型初始化、儲存佈署、多主機組態與通訊。同時，文章也深入探討了深度學習架構搜尋（NAS）與神經網路設計的關聯，比較 NumPy 和 JAX 的特性，並解析影像處理、噪聲新增、隨機數生成及排程器的應用。最後，文章介紹了 Optax 和
模型最佳化
6
Articles
知識蒸餾與量化技術最佳化模型效能
本文探討如何結合知識蒸餾和量化技術來最佳化模型效能。首先，使用知識蒸餾技術訓練一個精簡的 DistilBERT 模型，並利用 Optuna 框架進行超引數最佳化，找出最佳的訓練引陣列合。接著，引入量化技術，將模型權重從 FP32 轉換為
深度學習模型量化技術與效能最佳化
本文探討深度學習模型量化技術，包含動態量化、靜態量化和量化感知訓練，並以 Transformer 模型為例，說明如何在 PyTorch 和 ONNX Runtime 中實作與最佳化，提升模型佈署效率並降低資源消耗，同時評估量化模型的效能，包含模型大小、延遲與準確度，也提供結合知識蒸餾、
深度學習模型最佳化與分散式訓練策略
本文深入探討深度學習模型的資料準備、模型最佳化技巧以及分散式訓練策略，涵蓋了資料預處理、溫度調整、Top-k取樣等關鍵技術。同時也介紹了Dataset類別、DDP策略和解碼方法等實作細節，並以程式碼範例和圖表說明如何應用這些技術。此外，文章也探討了大語言模型（LLMs）的微調與應用，以及如何從零開始建構和訓練模型，並提
輕量級深度學習模型 MobileNetV2 與 EfficientNet 演進
MobileNetV2 是一種輕量級深度學習模型，專為行動裝置設計，其核心為倒置殘差瓶頸結構，結合深度可分離卷積與線性瓶頸，有效降低模型大小和計算量。後續研究利用神經架構搜尋技術，發展出 MnasNet 和 EfficientNet，EfficientNet
MLP與CNN模型效能比較與最佳化
本文比較了不同神經元數量和最佳化器對單層多層感知機（MLP）模型效能的影響，並探討瞭如何建構用於 Fashion-MNIST 和 CIFAR-10 資料集的 MLP 和 CNN