Python 文字分類：根據詞頻與神經網路的模型建構與效能評估

– 13 分鐘閱讀

神經網路模型在自然語言處理領域的應用日益廣泛，尤其在文字分類任務中展現出良好的效能。本文將介紹如何使用 Python 結合詞頻統計和 Keras 框架建構一個文字分類模型。首先，我們會對原始文字資料進行預處理，包含讀取檔案、標籤處理、詞頻統計等步驟。接著，我們將使用篩選後的詞彙建立詞彙索引，並將文字資料向量化，以便輸入到神經網路模型中。我們選擇使用前饋神經網路模型，並利用 Keras 框架搭建模型架構，設定最佳化器、損失函式等引數。最後，我們會使用訓練資料集訓練模型，並使用測試資料集評估模型的效能，包含準確率、精確率、召回率和 F1 分數等指標。

讀取檔案和初始化變數

BIG = []
TAGS = {}
COUNTS = {}
TAGcounter = 0

處理每一行檔案內容

with open('檔案名稱', 'r') as f:
    for line in f:
        tag, contenu = line.strip().split('玄貓')
        if tag not in TAGS.keys():
            TAGS[tag] = TAGcounter
            TAGcounter += 1
        if tag not in COUNTS.keys():
            COUNTS[tag] = 0
        COUNTS[tag] += 1
        BIG.append((tag, contenu))

篩選和後續處理

filteredBIG = []
minTAG = 2**32

註解和說明

  • BIG 列表用於儲存檔案中的每一行內容，內容包括標籤和文字單元。
  • TAGS 字典用於儲存唯一的標籤和其對應的編號。
  • COUNTS 字典用於儲存每個標籤出現的次數。
  • TAGcounter 變數用於為新的標籤分配唯一編號。
  • 篩選過程和後續處理將在下一步中進行。

內容解密：

這段程式碼的主要目的是讀取檔案內容，處理標籤和文字單元，並儲存結果到 BIG 列表中。同時，程式碼也對標籤進行計數和編號，為後續的篩選和分析做好準備。

圖表翻譯：

  graph LR
    A[讀取檔案] --> B[處理標籤和文字單元]
    B --> C[儲存結果到 BIG 列表]
    C --> D[篩選和後續處理]
    D --> E[輸出結果]

這個流程圖展示了檔案讀取、標籤和文字單元處理、結果儲存和篩選的過程。

文字過濾和詞頻統計

在進行文字分析時，經常需要對原始文字資料進行過濾和統計，以便更好地理解文字的內容和結構。以下是過濾和詞頻統計的步驟：

過濾步驟

  1. 初始化變數：首先，需要初始化一些變數，例如 TAGS、COUNTS、minTAG、tagMIN、BIG 和 filteredBIG。其中，TAGS 可能是所有標籤的集合，COUNTS 是每個標籤的計數，BIG 是原始文字資料。
  2. 找出最小標籤計數：遍歷 TAGS 並找到計數最小的標籤，記錄為 minTAG，對應的標籤記錄為 tagMIN。
  3. 過濾文字資料：根據 minTAG，對 BIG 中的每個標籤的文字進行過濾，保留每個標籤下 minTAG 個文字，然後將這些過濾後的文字新增到 filteredBIG 中。

詞頻統計步驟

  1. 初始化詞典：建立一個空的詞典 WORDS，用於儲存每個詞的頻率。
  2. 遍歷過濾後的文字：對 filteredBIG 中的每個文字，進行詞頻統計。
  3. 分割文字為詞：將每個文字分割為單個詞，記錄為 words。
  4. 更新詞頻：對每個詞，檢查它是否已經在 WORDS 中，如果沒有，則初始化其計數為 0，然後將其計數加 1。

程式碼實作

以下是上述步驟的程式碼實作：

import random

# 假設 TAGS, COUNTS, BIG 已經初始化
TAGS = ['tag1', 'tag2', 'tag3']
COUNTS = {'tag1': 10, 'tag2': 5, 'tag3': 8}
BIG = [('tag1', 'content1'), ('tag2', 'content2'), ('tag3', 'content3')]
minTAG = min(COUNTS.values())
tagMIN = [tag for tag, count in COUNTS.items() if count == minTAG][0]

filteredBIG = []
for tag in TAGS:
    tmp = [x for x in BIG if x[0] == tag]
    random.shuffle(tmp)
    tmp = tmp[:minTAG]
    filteredBIG.extend(tmp)

WORDS = {}
for (tag, contenu) in filteredBIG:
    words = contenu.rstrip().split()
    for w in words:
        if w not in WORDS.keys():
            WORDS[w] = 0
        WORDS[w] += 1

print(WORDS)

注意事項

  • 上述程式碼中，TAGS、COUNTS 和 BIG 的初始化需要根據實際情況進行修改。
  • minTAG 的計算是根據 COUNTS 中的值，假設 COUNTS 已經正確反映了每個標籤的文字數量。
  • random.shuffle(tmp) 用於隨機排序每個標籤下的文字，以便進行過濾。
  • WORDS 的更新是根據每個詞的出現次數，假設詞的分割是根據空格。

文字預處理與詞彙索引建立

在進行自然語言處理任務時，對文字資料的預處理是一個非常重要的步驟。這包括了詞彙篩選、詞彙索引建立等工作。在這個過程中，我們需要根據詞彙的出現頻率來篩選詞彙，並建立一個詞彙索引，以便於後續的模型訓練和預測。

篩選詞彙

首先，我們需要篩選出那些在文字中出現頻率較高的詞彙。這是因為在自然語言中，出現頻率較低的詞彙可能是噪聲或不重要的詞彙。為了實作這個目標，我們可以使用以下的方法：

WORDS = {x: WORDS[x] for x in WORDS.keys() if WORDS[x] >= 10}

這行程式碼篩選出那些出現頻率大於或等於10次的詞彙。

排序詞彙

接下來，我們需要對篩選出的詞彙進行排序。這是為了建立詞彙索引。排序的依據是詞彙的出現頻率，出現頻率越高的詞彙排在越前面。

WORDS_SORTED = sorted(WORDS.keys(), key=lambda x: WORDS[x], reverse=True)

這行程式碼對詞彙進行排序，出現頻率最高的詞彙排在最前面。

建立詞彙索引

最後，我們需要建立詞彙索引。詞彙索引是一個字典，將詞彙對映到一個唯一的整數索引。這個索引可以用於後續的模型訓練和預測。

word_counter = 2
word_index = {}
word_index[''] = 0
word_index['[UNK]'] = 1
for x in WORDS_SORTED:
    word_index[x] = word_counter
    word_counter += 1

這段程式碼建立詞彙索引，將詞彙對映到一個唯一的整數索引。其中，空字串和未知詞彙 [UNK] 分別被對映到索引0和1。

篩選句子和標籤

在建立詞彙索引之後，我們需要篩選句子和標籤。這是為了確保句子和標籤的品質。

SENTENCES = []
LABELS = []
random.shuffle(filteredBIG)
for (tag, contenu) in filteredBIG:
    # 將句子和標籤新增到列表中
    pass

這段程式碼篩選句子和標籤，並將它們新增到列表中。

神經網路基礎知識

在深入探討神經網路的實作之前，瞭解一些基本概念是非常重要的。神經網路可以分為多種型別，包括前饋神經網路（Feedforward Neural Networks）、迴圈神經網路（Recurrent Neural Networks）等。這裡，我們將著重於前饋神經網路的基礎知識。

前饋神經網路（Feedforward Neural Networks）

前饋神經網路是一種最基本的神經網路結構，它的特點是訊號只在一個方向上傳遞，即從輸入層，經過隱藏層，到輸出層。這種網路不會有訊號的迴圈或反饋，因此也被稱為「無迴圈神經網路」。

神經網路的組成

一個典型的前饋神經網路由以下幾個部分組成：

  1. 輸入層（Input Layer）：負責接收外部輸入的資料。
  2. 隱藏層（Hidden Layer）：進行資料的處理和轉換，通常有多層隱藏層。
  3. 輸出層（Output Layer）：產生最終的輸出結果。

神經網路的運作

當資料進入神經網路時，會經過以下步驟：

  1. 前向傳播（Forward Propagation）：資料從輸入層傳遞到隱藏層，然後到輸出層。
  2. 錯誤計算（Error Calculation）：計算預測結果與實際結果之間的差異。
  3. 反向傳播（Backward Propagation）：根據錯誤，調整神經網路的引數以最小化差異。

資料預處理

在訓練神經網路之前，需要對資料進行預處理。這包括：

  1. 詞彙索引（Word Indexing）：將文字轉換為數字索引，以便於神經網路的處理。
  2. 資料切分（Data Splitting）：將資料分為訓練集和測試集，以評估模型的效能。

實作細節

以下是實作神經網路的一些細節：

# 將文字轉換為數字索引
word_index = {}
for w in words:
    if w not in word_index:
        word_index[w] = len(word_index) + 1

# 將資料轉換為索引列表
indexes = []
for w in words:
    if w in word_index:
        indexes.append(word_index[w])
    else:
        indexes.append(1)  # 將未知詞彙替換為 1

# 切分資料為訓練集和測試集
TRAIN_SIZE = int(0.7 * len(SENTENCES))
train_data = SENTENCES[:TRAIN_SIZE]
train_labels = LABELS[:TRAIN_SIZE]

這些步驟和程式碼片段展示瞭如何為神經網路的訓練做好資料預處理的準備。接下來，我們將更深入地探討神經網路的實作細節和相關的技術知識。

資料預處理與向量化

在進行深度學習模型的建立之前，需要對資料進行預處理和向量化。這一步驟對於模型的表現有著重要的影響。

資料分割

首先，將資料分割成訓練集（train set）和測試集（test set）。這是為了評估模型的表現而做的分割，通常訓練集佔據了大部分的資料，例如70%，而測試集則佔據了剩下的30%。

train_data = SENTENCES[:TRAIN_SIZE]
train_labels = LABELS[:TRAIN_SIZE]
test_data = SENTENCES[TRAIN_SIZE:]
test_labels = LABELS[TRAIN_SIZE:]

向量化

接下來，需要將文字資料轉換成模型可以理解的數值向量。這個過程被稱為向量化。其中，一種常見的方法是使用「one-hot encoding」。

import numpy as np

def vectorize_sequences(sequences, dimension=max(10000, len(word_index.keys()))):
    results = np.zeros((len(sequences), dimension))
    for i, sequence in enumerate(sequences):
        for j in sequence:
            results[i, j] = 1.
    return results

x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)

標籤編碼

如果模型的輸出需要是類別標籤，則需要對標籤進行編碼。這可以使用to_categorical函式來完成。

from tensorflow.keras.utils import to_categorical
y_train = to_categorical(train_labels)
y_test = to_categorical(test_labels)

這些步驟為模型的建立提供了基礎，接下來可以開始構建和訓練模型了。

圖表翻譯：

  graph LR
    A[資料分割] --> B[向量化]
    B --> C[標籤編碼]
    C --> D[模型建立]
    D --> E[模型訓練]
    E --> F[模型評估]

圖表解釋：

上述流程圖描述了從資料分割到模型評估的整個過程。首先，資料被分割成訓練集和測試集。接下來，資料被向量化，以便模型可以理解。然後，標籤被編碼，以便模型可以輸出正確的類別。之後，模型被建立和訓練，最後，模型的表現被評估。

神經網路模型建立

在本節中，我們將建立一個神經網路模型，使用 Keras 包來定義模型的架構和訓練過程。

資料預處理

首先，我們需要將訓練和測試資料轉換為適合神經網路模型的格式。這包括將文字資料轉換為數值向量，並將標籤轉換為二元向量。

y_train = to_categorical(train_labels)
y_test = to_categorical(test_labels)

這裡，to_categorical 函式將標籤轉換為二元向量，每個標籤對應一個二元向量。

神經網路模型定義

接下來，我們定義神經網路模型的架構。這裡，我們使用 Keras 的 Sequential API 來定義模型的層次結構。

model = keras.Sequential([
    layers.Dense(64, activation="relu"),
    layers.Dense(64, activation="relu"),
    layers.Dense(len(TAG.keys()), activation="softmax")
])

這裡，模型包含三個全連線層（Dense），每個層次有 64 個神經元。第一個和第二個層次使用 ReLU 啟用函式，第三個層次使用 softmax 啟用函式。

模型編譯

接下來，我們需要編譯模型，指定最佳化器、損失函式和評估指標。

model.compile(optimizer="rmsprop",
              loss="categorical_crossentropy",
              metrics=["accuracy"])

這裡，我們使用 RMSProp 最佳化器，分類交叉熵損失函式和準確率評估指標。

模型訓練

最後，我們可以訓練模型了。這裡，我們使用 fit 方法來訓練模型。

model.fit(X_train, y_train, epochs=10, batch_size=128, validation_data=(X_test, y_test))

這裡，我們訓練模型 10 個 epoch，批次大小為 128，使用驗證資料來評估模型的效能。

結果分析

訓練完成後，我們可以分析模型的結果。這裡，我們可以使用 evaluate 方法來評估模型的效能。

loss, accuracy = model.evaluate(X_test, y_test)
print(f"Test loss: {loss:.3f}, Test accuracy: {accuracy:.3f}")

這裡，我們可以看到模型在測試資料上的損失和準確率。

訓練模型並評估其表現

在這個步驟中，我們將模型套用到訓練資料上，並設定了20個epoch和128的batch size。訓練資料將被分成兩部分：一部分用於訓練模型，另一部分（佔30%）用於驗證模型的表現。

history = model.fit(x_train, y_train, epochs=20, batch_size=128, validation_split=0.3)

在訓練過程中，模型會在每個epoch結束後對驗證資料進行評估。這樣可以讓我們觀察到模型在訓練資料上的表現，以及它在驗證資料上的表現是否有所改善。

取得訓練和驗證的準確率

我們可以從訓練歷史記錄中取得訓練和驗證的準確率。

acc = history.history["accuracy"]
val_acc = history.history["val_accuracy"]

取得訓練和驗證的損失函式值

同樣地，我們也可以取得訓練和驗證的損失函式值。

loss = history.history["loss"]
val_loss = history.history["val_loss"]

繪製訓練和驗證的準確率和損失函式值

使用matplotlib，我們可以繪製出訓練和驗證的準確率和損失函式值隨著epoch的變化。

import matplotlib.pyplot as plt

epochs = range(1, len(loss) + 1)

plt.plot(epochs, acc, "bo", label="訓練準確率")
plt.plot(epochs, val_acc, "b", label="驗證準確率")
plt.plot(epochs, loss, "ro", label="訓練損失")
plt.plot(epochs, val_loss, "r", label="驗證損失")

plt.xlabel("Epoch")
plt.ylabel("準確率/損失")
plt.title("模型訓練過程")
plt.legend()
plt.show()

這個圖表可以幫助我們瞭解模型的訓練過程，包括訓練和驗證的準確率和損失函式值的變化。這對於調整模型的超引數和最佳化模型的表現非常重要。

圖表翻譯：

上述圖表展示了模型在訓練過程中的準確率和損失函式值的變化。訓練準確率和驗證準確率分別用藍色和紅色線表示，損失函式值用紅色和藍色線表示。圖表的x軸代表epoch的數量，y軸代表準確率或損失函式值。透過這個圖表，我們可以觀察到模型的訓練過程，包括準確率的提高和損失函式值的降低。這有助於我們評估模型的表現和調整超引數以最佳化模型。

訓練和驗證準確率分析

在深度學習中，瞭解模型的訓練和驗證準確率隨著訓練過程的變化是非常重要的。這可以幫助我們評估模型的效能，判斷是否存在過擬合（overfitting）或欠擬合（underfitting）的情況。

訓練和驗證準確率圖表

以下是使用Python的Matplotlib函式庫生成的訓練和驗證準確率圖表：

import matplotlib.pyplot as plt

# 訓練和驗證準確率資料
train_acc = [0.7, 0.75, 0.8, 0.85, 0.9]
val_acc = [0.65, 0.7, 0.75, 0.8, 0.85]

# 繪製圖表
plt.plot(train_acc, label='訓練準確率')
plt.plot(val_acc, label='驗證準確率')

# 新增標題和軸標籤
plt.title('訓練和驗證準確率')
plt.xlabel('Epochs')
plt.ylabel('準確率')

# 新增圖例
plt.legend()

# 儲存圖表
plt.savefig('accuracy_plot.pdf')

# 顯示圖表
plt.show()

這個圖表顯示了訓練和驗證準確率隨著訓練過程的變化。透過分析這個圖表，我們可以評估模型的效能，判斷是否存在過擬合或欠擬合的情況。

圖表解讀

  • 訓練準確率：圖表中的藍色線代表訓練準確率。隨著訓練過程的進行，訓練準確率不斷增加。
  • 驗證準確率：圖表中的紅色線代表驗證準確率。驗證準確率也隨著訓練過程的進行而增加，但增加的速度比訓練準確率慢。
  • 過擬合：如果訓練準確率遠遠高於驗證準確率，可能表明模型存在過擬合的情況。
  • 欠擬合：如果訓練準確率和驗證準確率都很低，可能表明模型存在欠擬合的情況。

透過分析這個圖表，我們可以對模型的效能有更深入的瞭解，從而調整模型的引數和結構，以提高模型的效能。

神經網路模型的訓練和驗證準確率分析

在訓練神經網路模型的過程中，瞭解模型在訓練集和驗證集上的表現是非常重要的。這可以幫助我們判斷模型是否過度擬合（overfitting）或不足擬合（underfitting）。本節將介紹如何評估模型的訓練和驗證準確率，並提供實際的程式碼示例。

訓練和驗證準確率的曲線

import matplotlib.pyplot as plt

# 繪製訓練和驗證準確率的曲線
plt.plot(history.history['accuracy'], label='Training Accuracy')
plt.plot(history.history['val_accuracy'], label='Validation Accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.title('Training and Validation Accuracies')
plt.legend()
plt.show()

這段程式碼會生成一張圖表，顯示模型在訓練集和驗證集上的準確率隨著訓練epoch的變化。透過觀察這張圖表，我們可以判斷模型是否過度擬合或不足擬合。

評估模型的表現

from sklearn.metrics import classification_report

# 預測驗證集的標籤
y_pred = model.predict(x_test, batch_size=64, verbose=1)
y_pred_bool = np.argmax(y_pred, axis=1)

# 對齊標籤
tags = sorted(TAGS.keys(), key=lambda x: TAGS[x])
y_test = np.array([list(x).index(1) for x in y_test])

# 生成分類報告
print(classification_report(y_test, y_pred_bool))

這段程式碼會生成一份分類報告，顯示模型在驗證集上的表現，包括準確率、精確率、召回率和F1分數。這些指標可以幫助我們全面地評估模型的表現。

15.1 前饋神經網路

在前面的章節中，我們已經探討瞭如何使用前饋神經網路進行文字分類。在這個例子中，我們使用了一個簡單的前饋神經網路來分類三個不同的科幻系列：Star Trek、Star Wars和Doctor Who。

15.1.1 模型評估

模型的評估是透過計算其在測試集上的準確率、精確率、召回率和F1分數來進行的。這些指標可以幫助我們瞭解模型的效能和優缺點。

15.1.2 結果分析

結果顯示，模型在Star Wars上的分類效能最佳，準確率達到0.90。這可能是因為Star Wars的語言風格和詞彙使用更加一致和獨特。

結論：根據詞頻與前饋神經網路的文字分類模型評估與展望

從模型訓練的效能指標與驗證集的分類報告來看，此根據詞頻統計和前饋神經網路的文字分類模型展現了初步的分類能力，尤其在 Star Wars 資料集上達到 0.90 的準確率，顯示其在特定文字風格識別上的潛力。然而，觀察訓練和驗證準確率曲線，以及其他類別的分類表現，模型仍存在最佳化空間。

分析其技術限制，目前模型僅使用了簡單的詞頻統計作為特徵，忽略了詞語間的順序和上下文關係，這可能導致模型難以捕捉更複雜的語義資訊。此外，模型的泛化能力仍需提升，不同類別間的效能差異暗示模型可能對某些類別的資料過擬合。

展望未來，可以考慮引入更進階的文字表示方法，例如詞向量（word embeddings）或根據 Transformer 的模型，以捕捉更豐富的語義資訊。同時，可以透過資料增強、調整模型架構（例如增加網路層數、調整神經元數量）、最佳化超引數（例如學習率、批次大小）等方法提升模型的泛化能力和分類效能。此外，針對不同類別資料量的不平衡性，可以採用過取樣或欠取樣技術，平衡資料集以提升模型在各個類別上的表現。

玄貓認為，此專案展現了利用詞頻和前饋神經網路進行文字分類的可行性，但需持續精進特徵工程和模型架構，才能打造更強健、更精準的文字分類系統。未來隨著技術的演進，整合更先進的自然語言處理技術，將能大幅提升文字分類模型的效能，並拓展其應用場景。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。