模型壓縮

1 Article

知識蒸餾技術壓縮模型提升效率

– 8 分鐘閱讀

本文探討知識蒸餾技術，利用教師模型的軟機率分佈指導學生模型訓練，有效壓縮模型尺寸並提升效率。文章以 BERT 和 DistilBERT 為例，詳細闡述知識蒸餾的原理、數學公式、程式碼實作及訓練過程，並分析了知識蒸餾的優勢和未來改進方向。實驗結果顯示，DistilBERT 在 CLINC 資料集上達到 92%