Transformer 的 DistilBERT 特徵

– 30 分鐘閱讀

在實際應用中，我發現使用DistilBERT作為特徵提取器時有幾個關鍵技巧可以顯著提升效能：

  1. 特徵標準化：由於DistilBERT的輸出範圍可能較大，對特徵進行標準化通常能提升下游分類別器的效能。

  2. 特徵選擇：雖然768維的向量包含豐富訊息，但並非所有維度都同樣重要。使用主成分析(PCA)或其他特徵選擇方法可以減少維度，同時保留大部分訊息。

  3. 分類別器選擇：對於較小的資料集，我發現邏輯迴歸或SVM通常表現良好；對於較大的資料集，梯度提升樹模型如XGBoost或LightGBM往往能達到更好的效能。

  4. 句子表示策略：除了使用[CLS]令牌的隱藏狀態外，也可以考慮對所有令牌的隱藏狀態進行平均或最大池化，這在某些任務中可能提供更好的效能。

結論與未來方向

透過使用DistilBERT作為特徵提取器，我們能夠將複雜的文字資料轉換為固定長度的向量表示，這些向量捕捉了文字的語義訊息，為下游分類別任務提供了強大的特徵。這種方法在計算資源有限的情況下特別有價值，因為它只需要一次前向傳播來提取特徵，然後可以使用輕量級的分類別器進行訓練。

當然，這只是使用DistilBERT的一種方式。另一種方法是微調整個模型，這通常能獲得更好的效能，但需要更多的計算資源和訓練時間。根據具體應用場景、可用資源和效能要求，選擇合適的方法至關重要。

隨著自然語言處理技術的不斷發展，我們可以期待更輕量級、更高效的預訓練模型出現，使這些強大的技術能夠在更多資源受限的環境中得到應用。

深度學習特徵視覺化與分類別模型訓練

在機器學習專案中，理解資料特徵的分佈對於建立有效的分類別模型至關重要。當處理像DistilBERT這樣的預訓練語言模型產生的高維度特徵時，視覺化成為理解資料結構的關鍵工具。在這篇文章中，我將探討如何將768維的隱藏狀態視覺化，並根據這些特徵訓練情緒分類別模型。

特徵視覺化的重要性

處理高維度特徵向量時，視覺化能夠幫助我們快速掌握資料分佈情況，發現潛在模式，並評估分類別任務的難度。然而，直接視覺化768維的向量是不可能的，因此我們需要降維技術將這些向量投影到二維空間。

使用UMAP進行特徵降維與視覺化

UMAP (Uniform Manifold Approximation and Projection) 是一種強大的非線性降維演算法，能夠在保留資料結構的情況下將高維度資料投影到低維度空間。相較於其他降維技術如t-SNE或PCA，UMAP通常能更好地保留資料的全域結構。

UMAP降維實作

首先，我們需要將特徵縮放到[0,1]區間，因為UMAP在這個範圍內效果最佳：

from umap import UMAP
from sklearn.preprocessing import MinMaxScaler

# 將特徵縮放到[0,1]範圍
X_scaled = MinMaxScaler().fit_transform(X_train)

# 初始化並訓練UMAP模型
mapper = UMAP(n_components=2, metric="cosine").fit(X_scaled)

# 建立二維嵌入的DataFrame
df_emb = pd.DataFrame(mapper.embedding_, columns=["X", "Y"])
df_emb["label"] = y_train
df_emb.head()

這段程式碼執行了三個關鍵步驟：首先使用MinMaxScaler將所有特徵值縮放到[0,1]區間，這是因為UMAP對特徵範圍敏感，標準化後效果更佳；接著建立UMAP模型，設定輸出維度為2（便於視覺化），並使用餘弦相似度作為距離度量（適合高維文字特徵）；最後將降維結果儲存為DataFrame，並加入原始標籤用於後續分析。

UMAP的結果是一個維度大幅降低的陣列，樣本數與原始資料相同，但每個樣本只有2個特徵，而非原始的768個！這使我們能夠直觀地視覺化資料分佈。

情緒類別的分佈視覺化

為了更清晰地理解不同情緒類別的分佈情況，我們可以為每個類別繪製單獨的密度圖：

fig, axes = plt.subplots(2, 3, figsize=(7,5))
axes = axes.flatten()
cmaps = ["Greys", "Blues", "Oranges", "Reds", "Purples", "Greens"]
labels = emotions["train"].features["label"].names

for i, (label, cmap) in enumerate(zip(labels, cmaps)):
    df_emb_sub = df_emb.query(f"label == {i}")
    axes[i].hexbin(df_emb_sub["X"], df_emb_sub["Y"], cmap=cmap,
                   gridsize=20, linewidths=(0,))
    axes[i].set_title(label)
    axes[i].set_xticks([]), axes[i].set_yticks([])

plt.tight_layout()
plt.show()

這段視覺化程式碼建立了2×3的子圖網格，每個子圖展示一種情緒類別的分佈。透過hexbin函式建立六邊形柱狀圖，這種方式比散點圖更適合展示密度分佈。每種情緒類別使用不同的顏色對映，便於區分。每個子圖移除了座標軸刻度，專注於展示分佈形狀而非具體座標值。

需要注意的是，這些只是投影到低維空間的結果。某些類別在投影空間中的重疊並不意味著它們在原始高維空間中不可分離。反之，如果類別在投影空間中可分離，那麼它們在原始空間中也一定可分離。

視覺化結果分析

從視覺化結果中，我觀察到一些明顯的模式：

  1. 負面情緒聚集：悲傷、憤怒和恐懼等負面情緒佔據相似的區域，但分佈略有不同。
  2. 正面情緒分離：喜悅和愛情與負面情緒明顯分離，與彼此分享相似空間。
  3. 驚訝情緒分散：驚訝情緒分散在整個空間中，沒有明顯的聚集區域。

這些觀察結果很有意思，但並不令人完全驚訝。雖然我們可能希望看到各情緒類別之間有明確的邊界，但這並不是必然的，因為預訓練模型並不是專門學習區分這些情緒的。DistilBERT模型只是透過猜測文字中的遮蔽詞來隱式學習情緒特徵。

根據特徵訓練簡單分類別器

既然我們已經透過視覺化了解到不同情緒之間的隱藏狀態有所不同（儘管某些情緒之間沒有明顯邊界），現在讓我們使用這些隱藏狀態來訓練一個邏輯迴歸模型。使用Scikit-learn訓練這樣的簡單模型速度快，與不需要GPU：

from sklearn.linear_model import LogisticRegression

# 增加`max_iter`以確保收斂
lr_clf = LogisticRegression(max_iter=3000)
lr_clf.fit(X_train, y_train)
lr_clf.score(X_valid, y_valid)

結果顯示準確率約為0.633。乍看之下，這個模型似乎只比隨機猜測好一點，但考慮到我們處理的是不平衡的多分類別資料集，這個表現實際上已經相當不錯了。

與基準模型比較

為了評估我們的模型是否真的有效，我們可以將其與一個簡單的基準模型進行比較。Scikit-learn提供了DummyClassifier，可以用簡單的啟發式方法（如總是選擇多數類別或隨機選擇類別）建立分類別器：

from sklearn.dummy import DummyClassifier

dummy_clf = DummyClassifier(strategy="most_frequent")
dummy_clf.fit(X_train, y_train)
dummy_clf.score(X_valid, y_valid)

結果顯示基準模型的準確率約為0.352。這意味著我們的簡單分類別器使用DistilBERT嵌入向量的表現顯著優於基準模型。

模型效能深入分析

為了更深入地瞭解模型的表現，我們可以檢視分類別器的混淆矩陣，這能告訴我們真實標籤與預測標籤之間的關係：

from sklearn.metrics import ConfusionMatrixDisplay, confusion_matrix

def plot_confusion_matrix(y_preds, y_true, labels):
    cm = confusion_matrix(y_true, y_preds, normalize="true")
    fig, ax = plt.subplots(figsize=(6, 6))
    disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=labels)
    disp.plot(cmap="Blues", values_format=".2f", ax=ax, colorbar=False)
    plt.title("Normalized confusion matrix")
    plt.show()

y_preds = lr_clf.predict(X_valid)
plot_confusion_matrix(y_preds, y_valid, labels)

這段程式碼定義了一個函式來繪製標準化的混淆矩陣，幫助我們理解模型在各類別上的表現。混淆矩陣中的每個單元格表示一個特定的真實標籤-預測標籤對的比例。對角線上的值表示正確分類別的比例，而非對角線的值表示錯誤分類別的比例。使用標準化（normalize=“true”）使得每行總和為1，便於比較不同類別的錯誤模式。

從混淆矩陣中，我發現：

  1. 憤怒和恐懼最常被誤分類別為悲傷，這與我們在視覺化嵌入時的觀察一致。
  2. 愛情和驚訝經常被誤認為是喜悅。

這些混淆模式反映了情緒之間的語義相似性和表達方式的重疊，也與我們對人類情緒理解的直覺相符。

向微調方法的過渡

在下一部分，我們將探索微調（fine-tuning）方法，這種方法通常能帶來更優秀的分類別效能。然而，值得注意的是，微調需要更多的計算資源，如GPU，這在某些組織中可能不易獲得。在這種情況下，根據特徵的方法可以是傳統機器學習和深度學習之間的良好折衷。

微調Transformer模型

現在讓我們探索如何端對端地微調Transformer模型。與根據特徵的方法不同，微調方法不將隱藏狀態作為固定特徵，而是同時訓練這些特徵。這要求分類別頭必須是可微分的，這也是為什麼這種方法通常使用神經網路進行分類別。

微調的優勢

訓練作為分類別模型輸入的隱藏狀態，可以幫助我們避免使用可能不太適合分類別任務的固定特徵。相反，初始隱藏狀態在訓練過程中會自適應調整，以減少模型損失並提高效能。

我們將使用Transformers函式庫中的Trainer API來簡化訓練迴圈。讓我們看設定所需的元件！

載入預訓練模型

首先，我們需要一個與根據特徵方法中使用的類別似的預訓練DistilBERT模型。唯一的細微差別是我們使用AutoModelForSequenceClassification而非AutoModel。不同之處在於，AutoModelForSequenceClassification模型在預訓練模型輸出之上有一個分類別頭，可以與基礎模型一起輕鬆訓練。我們只需指定模型需要預測的標籤數量（在我們的例子中是六個），因為這決定了分類別頭的輸出數量：

from transformers import AutoModelForSequenceClassification

num_labels = 6
model = (AutoModelForSequenceClassification
         .from_pretrained(model_ckpt, num_labels=num_labels)
         .to(device))

這段程式碼從預訓練檢查點載入DistilBERT模型，但使用的是專門為序列分類別設計的AutoModelForSequenceClassification類別。關鍵引數是num_labels=6，表示我們的模型需要區分六種不同的情緒類別。.to(device)將模型移動到適當的裝置（CPU或GPU）上。執行此程式碼時，你會看到一個警告，說明模型的某些部分是隨機初始化的。這很正常，因為分類別頭尚未經過訓練。

定義效能評估指標

為了在微調過程中監控指標，我們需要為Trainer定義一個compute_metrics()函式。這個函式接收一個EvalPrediction物件（包含predictions和label_ids屬性的命名元組），並需要回傳一個字典，將每個指標的名稱對映到其值。對於我們的應用，我們將計算模型的F1分數和準確率：

from sklearn.metrics import accuracy_score, f1_score

def compute_metrics(pred):
    labels = pred.label_ids
    preds = pred.predictions.argmax(-1)
    f1 = f1_score(labels, preds, average="weighted")
    acc = accuracy_score(labels, preds)
    return {"accuracy": acc, "f1": f1}

這個函式從EvalPrediction物件中提取真實標籤和模型預測，然後計算兩個關鍵指標：準確率（accuracy）和F1分數。對於F1分數，我們使用"weighted"平均方法，這考慮了類別不平衡的情況，為每個類別的F1分數賦予與其在資料集中的頻率成比例的權重。這種方法在處理不平衡資料集時特別有用，能更準確地反映模型的整體效能。

微調過程中的關鍵考量

在定義Trainer類別之前，還有兩件重要事情需要處理：

  1. 登入Hugging Face Hub帳戶：這將允許我們將模型推播到Hub上，便於分享和重用。

  2. 設定訓練引數：包括批次大小、學習率、訓練輪數等超引數，這些對模型的最終效能有重要影響。

微調過程將允許模型調整其隱藏狀態以更好地適應情緒分類別任務，這與我們之前使用的固定特徵方法形成鮮明對比。透過調整個模型，我們能夠獲得更高的分類別效能，特別是對於那些在原始特徵空間中難以分離的類別。

結合特徵方法與微調方法的思考

在實際應用中，選擇根據特徵的方法還是微調方法取決於多種因素，包括可用的計算資源、資料集大小、時間限制和效能要求。

根據特徵的方法優勢在於：

  • 計算效率高，不需要GPU
  • 訓練速度快
  • 對小資料集也有不錯的表現

微調方法的優勢則在於：

  • 通常能達到更高的效能
  • 特徵會自適應調整以適應任務
  • 可以捕捉到更細微的類別差異

在資源有限的情況下，我建議先嘗試根據特徵的方法，評估其效能是否滿足需求。如果效能不足，與有必要的計算資源，再考慮使用微調方法。

透過本文的實踐，我們不僅學習瞭如何視覺化高維度特徵，還探索了從根據特徵的簡單分類別器到完整微調Transformer模型的進階路徑。這些技術不僅適用於情緒分類別，也可以應用於各種NLP分類別任務，為構建高效的文字分類別系統提供了堅實基礎。

在深度學習時代，理解和視覺化模型特徵，以及選擇適當的訓練方法，是構建成功NLP應用的關鍵步驟。無論是選擇簡單的根據特徵方法還是更複雜的微調方法，瞭解各自的優缺點和適用場景，才能在實際問題中做出明智的技術選擇。

構建高效文字分類別器：從引數設定到模型評估

在自然語言處理領域中，文字分類別是一項基礎與重要的任務。當我們已經準備好資料並完成前處理後，下一步就是設定適當的訓練引數並開始模型訓練。這篇文章將帶領大家完整走過文字分類別模型的訓練流程，從引數設定、模型訓練到結果評估與錯誤分析。

超引數設定：微調的關鍵

訓練模型前，我們需要定義一系列超引數來控制訓練過程。這些引數會直接影響模型的學習效果、訓練速度和最終效能。

首先，若你使用Jupyter筆記本，可以透過以下方式登入Hugging Face Hub：

from huggingface_hub import notebook_login
notebook_login()

若在終端機中工作，則可執行：

$ huggingface-cli login

訓練引數設定

Hugging Face提供了TrainingArguments類別來設定訓練引數，這個類別提供了精細控制訓練和評估過程的能力：

from transformers import Trainer, TrainingArguments

batch_size = 64
logging_steps = len(emotions_encoded["train"]) // batch_size
model_name = f"{model_ckpt}-finetuned-emotion"

training_args = TrainingArguments(
    output_dir=model_name,
    num_train_epochs=2,
    learning_rate=2e-5,
    per_device_train_batch_size=batch_size,
    per_device_eval_batch_size=batch_size,
    weight_decay=0.01,
    evaluation_strategy="epoch",
    disable_tqdm=False,
    logging_steps=logging_steps,
    push_to_hub=True,
    log_level="error"
)

這段程式碼設定了訓練過程中的關鍵引數：

  • output_dir：指定訓練產物的儲存位置
  • num_train_epochs：設定訓練輪數為2
  • learning_rate：學習率設為2e-5，這是Transformer模型微調的典型值
  • per_device_train/eval_batch_size：訓練和評估的批次大小
  • weight_decay：權重衰減引數，用於正則化
  • evaluation_strategy：每個epoch結束後進行評估
  • push_to_hub：訓練完成後自動推播到Hugging Face Hub
  • logging_steps：根據資料集大小自動計算日誌記錄頻率

這些引數的組合對於情緒分類別這類別任務來說是相當合理的。批次大小64適合大多數GPU，而學習率2e-5則是BERT類別模型微調的推薦值。

使用Trainer進行模型訓練

有了訓練引數，我們可以例項化Trainer並開始訓練：

from transformers import Trainer

trainer = Trainer(
    model=model, 
    args=training_args,
    compute_metrics=compute_metrics,
    train_dataset=emotions_encoded["train"],
    eval_dataset=emotions_encoded["validation"],
    tokenizer=tokenizer
)

trainer.train()

訓練過程中，我們可以看到每個epoch的訓練損失、驗證損失以及我們定義的評估指標（準確率和F1分數）：

Epoch   Training Loss   Validation Loss   Accuracy   F1
1       0.840900        0.327445         0.896500   0.892285
2       0.255000        0.220472         0.922500   0.922550

模型效能評估

從訓練日誌可以看出，我們的模型在驗證集上達到了約92%的F1分數，這比根據特徵的方法有顯著改進。為了更詳細地分析模型效能，讓我們計算混淆矩陣。

首先，我們需要取得驗證集上的預測結果：

preds_output = trainer.predict(emotions_encoded["validation"])

predict()方法回傳一個PredictionOutput物件，包含預測陣列、標籤ID以及我們傳給trainer的評估指標：

preds_output.metrics

輸出結果：

{
  'test_loss': 0.22047173976898193,
  'test_accuracy': 0.9225,
  'test_f1': 0.9225500751072866,
  'test_runtime': 1.6357,
  'test_samples_per_second': 1222.725,
  'test_steps_per_second': 19.564
}

接著，我們可以解碼預測結果並繪製混淆矩陣：

y_preds = np.argmax(preds_output.predictions, axis=1)
plot_confusion_matrix(y_preds, y_valid, labels)

觀察混淆矩陣，我們發現模型預測已經相當接近理想的對角線矩陣。不過仍有一些混淆情況：「愛」(love)類別經常被誤認為「喜悅」(joy)，這似乎是合理的；「驚訝」(surprise)也時常被誤認為「喜悅」或「恐懼」(fear)。總體而言，模型表現相當優秀，但在宣告成功前，讓我們探討模型可能犯的錯誤型別。

使用Keras進行微調

如果你使用TensorFlow，也可以透過Keras API進行模型微調。與PyTorch API的主要區別在於沒有Trainer類別，因為Keras模型已經內建了fit()方法。

首先，讓我們載入DistilBERT作為TensorFlow模型：

from transformers import TFAutoModelForSequenceClassification

tf_model = TFAutoModelForSequenceClassification.from_pretrained(
    model_ckpt, 
    num_labels=num_labels
)

接著，將資料集轉換為tf.data.Dataset格式：

# 要轉換為TensorFlow張量的列名
tokenizer_columns = tokenizer.model_input_names

tf_train_dataset = emotions_encoded["train"].to_tf_dataset(
    columns=tokenizer_columns, 
    label_cols=["label"], 
    shuffle=True,
    batch_size=batch_size
)

tf_eval_dataset = emotions_encoded["validation"].to_tf_dataset(
    columns=tokenizer_columns, 
    label_cols=["label"], 
    shuffle=False,
    batch_size=batch_size
)

這段程式碼將我們已經處理好的資料集轉換為TensorFlow可以直接使用的格式。由於我們已經對tokenized輸入進行了填充，可以直接應用to_tf_dataset()方法。這裡我們指定了：

  • 要轉換為張量的列名（來自tokenizer的輸入名稱）
  • 標籤列名為"label"
  • 訓練集需要隨機打亂，而驗證集不需要
  • 兩個資料集的批次大小相同

最後，編譯並訓練模型：

import tensorflow as tf

tf_model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=5e-5),
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    metrics=tf.metrics.SparseCategoricalAccuracy()
)

tf_model.fit(tf_train_dataset, validation_data=tf_eval_dataset, epochs=2)

在這段程式碼中：

  • 使用Adam最佳化器，學習率設為5e-5
  • 損失函式使用SparseCategoricalCrossentropy，適用於整數標籤
  • 設定from_logits=True表示模型輸出是原始logits而非經過softmax的機率
  • 評估指標使用SparseCategoricalAccuracy
  • 訓練2個epochs，與PyTorch版本保持一致

深入錯誤分析

在進一步最佳化模型前，深入研究模型預測是很重要的。一個簡單但強大的技術是按模型損失對驗證樣本進行排序。

以下是一個回傳損失和預測標籤的函式：

from torch.nn.functional import cross_entropy

def forward_pass_with_label(batch):
    # 將所有輸入張量放在與模型相同的裝置上
    inputs = {k:v.to(device) for k,v in batch.items()
              if k in tokenizer.model_input_names}
    
    with torch.no_grad():
        output = model(**inputs)
        pred_label = torch.argmax(output.logits, axis=-1)
        loss = cross_entropy(output.logits, batch["label"].to(device),
                           reduction="none")
    
    # 將輸出放在CPU上以與其他資料集列相容
    return {
        "loss": loss.cpu().numpy(),
        "predicted_label": pred_label.cpu().numpy()
    }

這個函式實作了一個完整的前向傳播過程，同時計算每個樣本的損失值：

  1. 首先將輸入資料移至模型所在的裝置（CPU或GPU）
  2. 使用torch.no_grad()確保不計算梯度，節省記憶體
  3. 執行模型前向傳播取得輸出
  4. 計算每個樣本的預測標籤（logits中最大值的索引）
  5. 使用cross_entropy計算損失，設定reduction="none"以取得每個樣本的損失值
  6. 將結果移回CPU並回傳

使用map()方法，我們可以將此函式應用於所有樣本以取得損失值：

# 將資料集轉回PyTorch張量
emotions_encoded.set_format("torch",
                          columns=["input_ids", "attention_mask", "label"])

# 計算損失值
emotions_encoded["validation"] = emotions_encoded["validation"].map(
    forward_pass_with_label, batched=True, batch_size=16)

最後，我們建立一個包含文字、損失和預測/真實標籤的DataFrame：

emotions_encoded.set_format("pandas")
cols = ["text", "label", "predicted_label", "loss"]
df_test = emotions_encoded["validation"][:][cols]
df_test["label"] = df_test["label"].apply(label_int2str)
df_test["predicted_label"] = df_test["predicted_label"].apply(label_int2str)

識別問題樣本

現在我們可以按損失值對樣本進行排序，以發現以下潛在問題：

  1. 標籤錯誤：任何增加標籤的過程都可能有缺陷。標註者可能犯錯或意見不一致，而由其他特徵推斷的標籤也可能不正確。

  2. 資料集怪異之處：真實世界的資料集總是有些混亂。處理文字時，輸入中的特殊字元或字串可能對模型預測產生重大影響。

讓我們看損失最高的資料樣本：

df_test.sort_values("loss", ascending=False).head(10)

從結果可以明顯看出，模型對某些樣本的預測是不正確的。另一方面，似乎有不少例子沒有明確的類別，這些可能是標籤錯誤或需要一個全新的類別。特別是"joy"（喜悅）類別似乎多次被錯誤標記。

錯誤分析的價值

透過這種分析，我們可以發現：

  1. 標籤不一致：某些樣本的情感表達模糊，可能導致標註者之間的不一致
  2. 邊界案例：情感分類別中存在大量邊界案例，如同時包含多種情感的文字
  3. 標籤品質問題：部分樣本可能完全標錯了類別

這些發現非常有價值，因為它們指出了改進方向。透過這些訊息，我們可以：

  • 精煉資料集，修正錯誤標籤
  • 增加更多邊界案例的樣本
  • 考慮調整類別定義或增加新類別

在實際應用中，這樣的資料集最佳化往往能帶來與增加資料量或擴大模型規模相當甚至更大的效能提升。

模型改進策略

根據錯誤分析的結果，我可以提出以下改進策略：

  1. 資料清洗：識別並修正錯誤標籤，特別是"joy"類別中的問題樣本

  2. 資料增強：針對混淆最嚴重的類別（如love/joy和surprise/fear）增加更多區分明確的樣本

  3. 模型調整：

    • 嘗試不同的預訓練模型（如RoBERTa或BERT-large）
    • 調整學習率和訓練輪數
    • 實施學習率排程策略

  4. 後處理最佳化：針對特定類別對的混淆情況，可以考慮調整預測閾值或實施規則基礎的後處理

  5. 類別重新定義：如果某些類別始終難以區分，可能需要考慮合併類別或重新定義類別邊界

實用技巧與最佳實踐

在訓練文字分類別器時，以下是一些我發現特別有用的技巧：

  1. 超引數最佳化：使用交叉驗證或貝葉斯最佳化找到最佳超參陣列合

  2. 模型整合：結合多個不同架構或不同隨機種子訓練的模型，通常能提高穩健性

  3. 漸進式訓練：先在較大學習率上訓練幾個epoch，然後降低學習率繼續訓練

  4. 損失函式選擇：對於不平衡類別，考慮使用加權交叉熵或焦點損失

  5. 早停策略：根據驗證集效能實施早停，避免過擬合

  6. 資料品質優先：在增加模型複雜度前，優先確保資料品質和標籤準確性

透過這些技巧，結合前面介紹的訓練方法和錯誤分析，我們能夠構建出高效能的文字分類別模型。

#與展望

在這篇文章中，我們探討了文字分類別模型的訓練過程，從超引數設定到模型評估和錯誤分析。我們看到了如何使用Hugging Face的Trainer API和Keras進行模型微調，以及如何透過混淆矩陣和損失分析來理解模型的優缺點。

錯誤分析是模型開發過程中不可或缺的一步，它不僅幫助我們發現模型的弱點，還能指導資料集改進和模型最佳化的方向。透過識別高損失樣本，我們可以發現標籤錯誤、資料集怪異之處，以及模型難以處理的邊界案例。

文字分類別是NLP領域的基礎任務，掌握這些技術不僅能幫助我們構建高效的情感分析系統，還能為更複雜的NLP任務如問答系統、文字摘要和自然語言生成奠定基礎。隨著預訓練模型的不斷發展，我們能夠以越來越少的資料和計算資源實作越來越好的效能，這使得NLP技術能夠被更廣泛地應用於各個領域。

深入分析模型預測結果：理解模型行為與偏好

在訓練完情感分類別模型後，僅關注整體準確率是不夠的。深入分析模型的預測行為，特別是它在哪些情況下最有信心或最容易出錯，能幫助我們更好地理解和改進模型。透過這種分析，我可以發現模型的潛在偏差和可能被濫用的捷徑。

模型信心度分析：理解預測背後的確定性

當檢視模型預測損失最低的樣本時（也就是模型最有信心的預測），我發現一個明顯的模式：模型在預測「悲傷」(sadness)類別時顯得特別自信。這是一個值得注意的現象，因為深度學習模型擅長尋找並利用捷徑來達成預測目標。

讓我們看模型最有信心的十個預測：

df_test.sort_values("loss", ascending=True).head(10)

檢視結果表格，所有損失值最低的預測都集中在「悲傷」類別，這些文字包含明顯的悲傷情緒指標，如「ungrateful」(不感恩)、「disheartened」(沮喪)等關鍵字。

這段程式碼按損失值升序排列測試資料，並顯示損失最小的10個樣本。這些是模型最有信心的預測，分析這些樣本有助於瞭解模型在哪些情況下表現最佳，以及它可能依賴哪些文字特徵來做出判斷。

這種分析揭示了兩個重要發現：

  1. 「喜悅」(joy)類別有時被錯誤標記
  2. 模型對「悲傷」類別的預測信心最高

這些訊息為我們提供了明確的改進方向：

  • 可以針對性地改進資料集中「喜悅」類別的標註
  • 密切關注模型對「悲傷」類別的高信心預測，確保它不是根據不當的文字特徵

模型的儲存與分享：為生產環境做準備

在將訓練好的模型投入生產環境之前，我們需要儲存它以便後續使用。Transformers 函式庫使這一過程變得簡單直接。更重要的是，NLP社群從分享預訓練和微調模型中獲益良多，每個人都可以透過Hugging Face Hub與他人分享自己的模型。

使用Trainer API儲存和分享模型非常簡單：

trainer.push_to_hub(commit_message="Training completed!")

這行程式碼將訓練好的模型上載到Hugging Face Hub。push_to_hub方法會處理所有必要的步驟，包括模型權重、設定和分詞器的上載。提供的commit_message會顯示在Hub上的提交歷史中，幫助追蹤模型版本。

使用微調模型進行預測：從理論到實踐

將模型上載到Hub後，我們可以像使用任何預訓練模型一樣使用它來進行預測。這是將模型從訓練環境轉移到實際應用的關鍵步驟。

首先，我們需要載入模型到pipeline中：

from transformers import pipeline
# 將 `transformersbook` 更改為你的Hub使用者名
model_id = "transformersbook/distilbert-base-uncased-finetuned-emotion"
classifier = pipeline("text-classification", model=model_id)

這段程式碼從Hugging Face Hub載入我們剛才上載的模型。pipeline函式是Transformers函式庫中最方便的高階API，它會自動處理模型載入、文字預處理和後處理步驟。text-classification引數指定了任務型別，而model引數指定了要使用的模型ID。

接下來，讓我們用一條測試推文來評估模型：

custom_tweet = "I saw a movie today and it was really good."
preds = classifier(custom_tweet, return_all_scores=True)

這段程式碼使用我們載入的分類別器對一條自定義推文進行情感預測。return_all_scores=True引數要求pipeline回傳所有類別的預測分數，而不僅是最可能的類別。

最後，我們可以將預測結果視覺化，以便更直觀地理解模型的判斷：

preds_df = pd.DataFrame(preds[0])
plt.bar(labels, 100 * preds_df["score"], color='C0')
plt.title(f'"{custom_tweet}"')
plt.ylabel("Class probability (%)")
plt.show()

這段程式碼將預測結果轉換為DataFrame，然後建立一個條形圖，顯示每個情感類別的預測機率。從結果可以看出，模型認為這條推文最可能表達的情感是「喜悅」，這與推文內容"it was really good"相符，表明模型能夠正確捕捉文字中的情感表達。

從實驗到生產：面對現實世界的挑戰

在將情感分類別模型從實驗階段過渡到生產環境時，我們常會遇到各種挑戰。以下是一些常見問題及其解決方案：

模型佈署與服務

當模型完成訓練後，我們需要一種方法來提供預測服務。當模型被推播到Hugging Face Hub時，會自動建立一個可以透過HTTP請求呼叫的推理端點。這為快速佈署提供了便捷的解決方案，無需自己搭建服務基礎設施。

提升預測速度

在實際應用中，使用者往往期望快速的回應時間。我們已經看到一種解決方案：使用DistilBERT等輕量級模型。除此之外，還有許多技術可以加速Transformer模型，如知識蒸餾（DistilBERT就是透過這種方式建立的）、量化和模型剪枝等。

擴充套件模型能力

Transformer模型的一大優勢是其多功能性。同一基本架構可以用於各種NLP任務，如問答系統、命名實體識別等。這種靈活性使我們能夠使用相似的技術解決多種不同的問題。

多語言支援

如果我們的應用需要處理非英語文字，可以使用多語言版本的Transformer模型。這些模型能夠同時處理多種語言，無需為每種語言單獨訓練模型。

標註資料稀缺的情況

在實際應用中，我們可能面臨標註資料不足的問題。此時，微調可能不是最佳選擇。有多種技術可以處理這種情況，如零樣本學習、少樣本學習和自監督學習等。

深入理解Transformer架構

在成功應用情感分類別模型後，深入理解Transformer模型的內部工作原理將有助於我們更好地應用和最佳化這些模型。Transformer架構根據編碼器-解碼器結構，廣泛用於機器翻譯等序列到序列的任務。

這種架構包含兩個主要元件：

  1. 編碼器（Encoder）：將輸入序列轉換為嵌入向量序列（隱藏狀態或上下文）
  2. 解碼器（Decoder）：使用編碼器的隱藏狀態逐步生成輸出序列

Transformer架構的特點包括：

  • 使用標記嵌入（token embeddings）和位置嵌入（positional embeddings）來處理輸入文字
  • 位置嵌入為模型提供標記位置訊息，彌補注意力機制對序列順序不敏感的缺陷
  • 多頭自注意力機制，使模型能夠關注輸入序列中的不同位置
  • 前饋神經網路，進一步處理注意力機制的輸出

理解這些元件如何協同工作，對於有效應用和最佳化Transformer模型至關重要。

透過本文的探索，我們不僅學習瞭如何評估和改進情感分類別模型，還瞭解了將模型投入生產的關鍵步驟。從模型行為分析到佈署和擴充套件，這些知識將幫助我們構建更強大、更實用的NLP應用。隨著技術的不斷發展，Transformer模型的應用範圍將繼續擴大，為更多領域帶來創新解決方案。

Transformer 架構的核心元件：編碼器與解碼器

Transformer 架構自 2017 年問世以來，徹底改變了自然語言處理領域。作為一個不依賴遞迴結構的序列處理模型，它透過注意力機制實作了前所未有的效能與靈活性。在深入研究這個革命性架構時，我發現它的核心魅力在於其清晰而模組化的設計。

編碼器與解碼器的基本結構

編碼器由多個相同的編碼層（Encoder Layers）堆積積疊而成，類別似於電腦視覺中堆積積疊卷積層的方式。同樣，解碼器也由一系列解碼層組成，形成一個深度處理鏈。

編碼器的輸出會被饋送到解碼器的每一層中，解碼器隨後會預測序列中最可能的下一個標記（token）。這個步驟的輸出會被重新輸入到解碼器中以生成下一個標記，如此迴圈直到生成特殊的序列結束標記（EOS）或達到最大長度限制。

以機器翻譯為例，假設解碼器已經預測出德文句子的開頭「Die Zeit」（時間）。此時，它會將這兩個詞作為輸入，同時處理編碼器的所有輸出，來預測下一個詞「fliegt」（飛逝）。在下一步中，解碼器會將「fliegt」作為額外輸入。這個過程會一直重複，直到解碼器預測出 EOS 標記或達到預設的最大長度。

Transformer 的三種主要變體

雖然 Transformer 架構最初是為機器翻譯等序列到序列任務設計的，但其編碼器和解碼器模組很快被改編為獨立模型。在分析數百種不同的 transformer 模型後，我發現它們大多屬於以下三種型別之一：

純編碼器架構

這類別模型將文字輸入序列轉換為豐富的數值表示，特別適合文字分類別或命名實體識別等任務。BERT 及其變體（如 RoBERTa 和 DistilBERT）屬於這類別架構。

在這種架構中，計算某個標記的表示時會同時考慮左側（標記之前）和右側（標記之後）的上下文。這通常被稱為雙向注意力（bidirectional attention）。

純解碼器架構

給定文字提示（如「謝你的午餐，我度過了一個…」），這類別模型透過迭代預測最可能的下一個詞來自動完成序列。GPT 系列模型屬於這一類別。

在這種架構中，計算某個標記的表示時只依賴左側上下文。這通常被稱為因果注意力（causal attention）或自迴歸注意力（autoregressive attention）。

編碼器-解碼器架構

這類別模型用於建模從一個文字序列到另一個文字序列的複雜對映，適用於機器翻譯和摘要任務。除了原始的 Transformer 架構外，BART 和 T5 模型也屬於這一類別。

實際上，純解碼器和純編碼器架構的應用界限有些模糊。例如，GPT 這類別純解碼器模型可以透過適當的提示設計來處理傳統上被視為序列到序列任務的翻譯。同樣，BERT 這類別純編碼器模型也可以應用於通常與編碼器-解碼器或純解碼器相關的摘要任務。

深入解析編碼器的工作原理

在實作眾多 Transformer 模型的過程中，我發現編碼器的內部設計尤為精妙。如前所述，Transformer 的編碼器由多個編碼層堆積積疊而成。每個編碼層接收一個嵌入序列，並透過以下子層處理它們：

  1. 多頭自注意力層（Multi-head Self-attention Layer）
  2. 全連線前饋層（Feed-forward Layer）- 應用於每個輸入嵌入

值得注意的是，每個編碼層的輸出嵌入與輸入具有相同的維度。編碼器堆積積疊的主要作用是「更新」輸入嵌入，生成包含序列上下文訊息的表示。

例如，「apple」這個詞會根據上下文更新其表示：如果附近有「keynote」或「phone」等詞，它的表示會更傾向於「公司」而非「水果」的語義。

這些子層還使用跳躍連線（skip connections）和層標準化（layer normalization），這些是有效訓練深度神經網路的標準技巧。但要真正理解 Transformer 的工作原理，我們需要更深入地探討其核心構建模組：自注意力層。

自注意力機制的數學原理

注意力是一種允許神經網路為序列中的每個元素分配不同權重的機制。對於文字序列，這些元素是標記嵌入，每個標記對映到固定維度的向量。例如，在 BERT 中，每個標記表示為 768 維向量。

「自」注意力中的「自」指的是這些權重是在同一組中的所有隱藏狀態之間計算的——例如，編碼器中的所有隱藏狀態。相比之下，與迴圈模型相關的注意力機制涉及計算每個編碼器隱藏狀態與特定解碼時間步的解碼器隱藏狀態之間的相關性。

自注意力的核心思想是：不使用每個標記的固定嵌入，而是利用整個序列計算每個嵌入的加權平均值。換句話說，給定標記嵌入序列 x₁, …, xₙ，自注意力產生新的嵌入序列 x₁′, …, xₙ′，其中每個 xᵢ′ 是所有 xⱼ 的線性組合：

xᵢ′ = ∑ⱼ₌₁ⁿ wⱼᵢxⱼ

係數 wⱼᵢ 被稱為注意力權重，並經過歸一化處理，使 ∑ⱼ wⱼᵢ = 1。

為何平均標記嵌入是個好主意？

考慮當你看到「flies」這個詞時的情況。你可能會想到惱人的昆蟲，但如果有更多上下文，比如「time flies like an arrow」（時光飛逝如箭），你會意識到「flies」指的是動詞而非名詞。

同樣，我們可以透過以不同比例組合所有標記嵌入來建立包含上下文的「flies」表示，可能會給「time」和「arrow」的標記嵌入分配更大的權重 wⱼᵢ。以這種方式生成的嵌入被稱為上下文化嵌入（contextualized embeddings），早在 Transformer 發明之前就已經在 ELMo 等語言模型中使用。

縮放點積注意力

實作自注意力層有多種方式，但最常見的是縮放點積注意力（scaled dot-product attention），它來自介紹 Transformer 架構的原始論文。實作這種機制需要四個主要步驟：

  1. 投影階段：將每個標記嵌入投影為三個向量：查詢（query）、鍵（key）和值（value）。

  2. 計算注意力分數：透過相似度函式確定查詢和鍵向量之間的關聯程度。對於縮放點積注意力，相似度函式是點積，可以透過嵌入的矩陣乘法高效計算。相似的查詢和鍵會有較大的點積，而沒有太多共同點的則幾乎沒有重疊。這一步的輸出稱為注意力分數，對於有 n 個輸入標記的序列，對應的注意力分數是一個 n × n 矩陣。

  3. 計算注意力權重：點積可能產生任意大的數字，這可能會使訓練過程不穩定。為了處理這個問題，注意力分數首先乘以一個縮放因子以標準化其方差，然後透過 softmax 進行歸一化，確保所有列值的總和為 1。得到的 n × n 矩陣包含所有注意力權重 wⱼᵢ。

自注意力機制的核心在於它能夠讓模型學習序列中每個元素與其他元素的相關性。這種能力使 Transformer 能夠捕捉長距離依賴關係，這是 RNN 和 LSTM 等迴圈架構的主要限制之一。

在數學上，點積注意力的優雅之處在於它將複雜的上下文關係簡化為向量間的相似度計算。縮放因子（通常是 1/√d，其中 d 是向量維度）的引入是為了防止在高維空間中點積值過大，這會導致 softmax 函式梯度消失，從而影響模型訓練。

這種設計不僅計算效率高，還允許平行處理整個序列，這是 Transformer 相比迴圈模型的一大優勢。

Transformer 架構的實際應用

在實際工作中，我發現不同型別的 Transformer 模型適用於不同的應用場景：

  • 純編碼器模型（如 BERT）擅長理解文字的語義，適合文字分類別、命名實體識別和問答系統等需要深入理解上下文的任務。

  • 純解碼器模型（如 GPT）在生成連貫文字方面表現出色，適合文字生成、故事創作和對話系統等任務。

  • 編碼器-解碼器模型（如原始 Transformer、BART、T5）在需要理解源文字並生成目標文字的任務中表現最佳，如機器翻譯、文字摘要和程式碼轉換等。

實際選擇哪種架構取決於具體任務需求、可用資源和效能要求。在某些情況下，混合使用不同型別的模型甚至可能產生更好的結果。

Transformer 的模組化設計也使其易於擴充套件和修改。例如，透過調整層數、注意力頭數和隱藏層大小，可以在模型大小和效能之間取得平衡。這種靈活性是 Transformer 成為現代自然語言處理根本的重要原因之一。

在下一部分，我們將更深入地探討多頭自注意力機制和前饋網路層的細節，以及它們如何共同構建強大的語言理解和生成能力。

多頭自注意力機制：平行處理多種關係

在實作自注意力時，一個關鍵的創新是多頭注意力（Multi-head Attention）機制。這種機制允許模型同時關注不同的表示子網路，捕捉更豐富的語言特徵。

多頭注意力的工作原理可以概括為以下步驟：

  1. 將輸入嵌入投影到多個子網路，建立多組查詢、鍵和值向量
  2. 在每個子網路中獨立計算注意力
  3. 將所有頭的結果連線起來並投影回原始維度空間

這種設計使模型能夠同時處理不同型別的關係。例如，一個注意力頭可能專注於句法關係，而另一個則關注語義相似性。實際上，研究表明不同的注意力頭確實會專門化於捕捉特定型別的語言模式。

在實作多頭注意力時，我發現平衡頭數與模型大小至關重要。頭數太少會限制模型捕捉複雜關係的能力，而頭數太多則可能導致資源浪費和過擬合。大多數成功的 Transformer 實作使用 8 到 16 個頭，但這個數字應根據具體任務和模型大小進行調整。

前饋網路：非線性轉換的關鍵

編碼器和解碼器中的另一個關鍵元件是前饋網路（Feed-forward Network，FFN）。每個 FFN 由兩個線性變換組成，中間有一個非線性啟用函式（通常是 ReLU）：

FFN(x) = max(0, xW₁ + b₁)W₂ + b₂

這個看似簡單的結構實際上承擔著重要功能：它為模型提供了處理自注意力層輸出的非線效能力，增強了模型的表達能力。從某種意義上說，FFN 層可以被視為對每個位置獨立應用的 1×1 卷積。

在設計 Transformer 架構時，FFN 層的維度通常是嵌入維度的 4 倍。例如，如果嵌入維度是 768（如 BERT-base），則 FFN 的內部維度通常是 3072。這種設計允許模型在高維空間中進行更豐富的特徵轉換。

殘差連線與層標準化：穩定訓練的關鍵

Transformer 架構中的另一個重要元素是殘差連線（Residual Connections）和層標準化（Layer Normalization）。這兩種技術對於訓練深度 Transformer 網路至關重要：

  1. 殘差連線：透過在每個子層周圍增加跳躍連線，允許梯度更容易地流過網路，緩解梯度消失問題。

  2. 層標準化：標準化每一層的輸出，穩定訓練過程並加速收斂。

在實作 Transformer 時，層標準化和殘差連線的精確位置會對模型效能產生顯著影響。原始 Transformer 使用「Post-LN」設定（層標準化在殘差連線之後），而許多現代實作（如 GPT-2）使用「Pre-LN」設定（層標準化在殘差連線之前），後者在訓練大型模型時更加穩定。

透過這些精心設計的元件，Transformer 架構成功克服了迴圈神經網路的主要限制，實作了更高效的平行處理和更好的長距離依賴建模，為現代自然語言處理開闢了新時代。

在實際應用中，瞭解這些核心元件如何協同工作，對於有效地調整和最佳化 Transformer 模型至關重要。無論是微調預訓練模型還是從頭設計新架構，掌握這些基本原理都能幫助我們更好地利用 Transformer 的強大能力。

Transformer 架構的設計精妙之處在於它將複雜的序列處理問題分解為一系列可平行計算的操作，同時保持了捕捉長距離依賴關係的能力。自注意力機制是這一設計的核心，它使模型能夠動態地確定序列中各元素之間的關聯程度，而無需依賴固定的視窗大小或遞迴結構。

這種設計不僅提高了模型的表達能力，還大加速了訓練和推理過程。透過深入理解 Transformer 的內部工作原理，我們能夠更好地應用、調整和擴充套件這一強大的架構，為各種自然語言處理任務開發更有效的解決方案。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。