TensorFlow 與 Keras 建構 LSTM 和 Bidirectional GRU 自然語言處理模型

– 12 分鐘閱讀

深度學習在自然語言處理領域中扮演著至關重要的角色。本文將深入探討如何利用 TensorFlow 和 Keras 構築 LSTM（長短期記憶）和 Bidirectional GRU（雙向閘控迴圈單元）模型，以有效處理文字資料。首先，我們會介紹如何使用 TextVectorization 層將文字轉換為數值向量，並利用詞嵌入技術捕捉詞彙間的語義關係。接著，我們將逐步建構 LSTM 和 Bidirectional GRU 模型，並說明如何編譯、訓練和評估這些模型。此外，本文還會探討如何利用預訓練詞嵌入和 TensorFlow Hub 來提升模型效能，並提供程式碼範例和架構圖，讓讀者更容易理解和實作。最後，我們將簡要討論自然語言處理中詞嵌入和文字編碼的重要性，以及如何應用這些技術於實際場景。

文字向量化層

TextVectorization層可以自動地從文字資料中學習一個詞彙表（vocabulary），並將輸入的文字轉換為數值向量。這個層可以透過adapt()方法來學習詞彙表，或者透過直接指定詞彙表來進行初始化。

VOCAB_SIZE = len(all_words)
encoder = tf.keras.layers.TextVectorization(
    max_tokens=VOCAB_SIZE,
    standardize='lower_and_strip_punctuation',
    split='whitespace',
    output_mode='int',
    output_sequence_length=100
)

在上面的程式碼中，TextVectorization層被初始化以包含最多VOCAB_SIZE個詞彙。standardize引數指定了對輸入文字的預處理方式，包括將所有字元轉換為小寫和移除標點符號。split引數指定了如何將輸入文字分割為單個詞彙，預設情況下使用空白字元作為分隔符。output_mode引數指定了輸出的向量形式，'int'表示輸出的是整數索引。output_sequence_length引數指定了輸出向量的長度。

適應詞彙表

要學習詞彙表，需要將訓練資料集傳遞給adapt()方法。

encoder.adapt(train_ds.map(lambda x, y: x))

這個方法會分析輸入的文字資料，並建立一個詞彙表。詞彙表包含了出現在訓練資料中的所有唯一詞彙。

模型構建

有了TextVectorization層後，就可以開始構建序列模型了。序列模型可以用來處理序列資料，如文字、時間序列資料等。

model = tf.keras.Sequential([
    encoder,
    tf.keras.layers.Embedding(input_dim=VOCAB_SIZE, output_dim=64),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid')
])

在上面的程式碼中，模型由多個層組成。首先是TextVectorization層，負責將輸入文字轉換為數值向量。然後是嵌入層（Embedding），負責將整數索引轉換為密集向量。接下來是雙向長短期記憶（LSTM）層，負責處理序列資料。最後是兩個全連線層（Dense），負責輸出預測結果。

訓練模型

有了模型後，就可以開始訓練了。需要將訓練資料集和測試資料集傳遞給模型的fit()方法。

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
history = model.fit(train_ds, epochs=10, validation_data=test_ds)

在上面的程式碼中，模型被編譯以使用Adam最佳化器和二元交叉熵損失函式。然後，模型被訓練10個epoch，並在每個epoch後評估在測試資料集上的效能。

圖表翻譯：

  graph LR
    A[文字資料] -->|TextVectorization|> B[數值向量]
    B -->|Embedding|> C[密集向量]
    C -->|Bidirectional LSTM|> D[序列特徵]
    D -->|Dense|> E[預測結果]

這個圖表展示了文字資料如何被轉換為數值向量，然後被嵌入層、LSTM層和全連線層處理，最終輸出預測結果。

文字編碼和LSTM模型架構

在自然語言處理（NLP）任務中，文字編碼是一個至關重要的步驟。文字編碼的目的是將文字資料轉換為機器可以理解的數字向量。TensorFlow提供了TextVectorization層來實作文字編碼。

文字編碼

TextVectorization層可以用於將文字資料轉換為數字向量。這個層有幾個重要的引數，包括standardize和split。standardize引數可以用於標準化文字資料，例如將所有文字轉換為小寫並移除標點符號。split引數可以用於指定如何分割文字資料，例如按照空格或字元分割。

encoder = tf.keras.layers.TextVectorization(
    standardize="lower_and_strip_punctuation",
    split="whitespace"
)

LSTM模型架構

定義好文字編碼層後，我們可以開始定義LSTM模型架構。LSTM（長短期記憶）模型是一種常用的迴圈神經網路（RNN）模型，特別適合處理序列資料。

model = tf.keras.Sequential([
    encoder,
    tf.keras.layers.Embedding(
        input_dim=len(encoder.get_vocabulary()),
        output_dim=64,
        mask_zero=True
    ),
    tf.keras.layers.LSTM(64),
    tf.keras.layers.Dense(64, activation="relu"),
    tf.keras.layers.Dense(3, activation="softmax")
])

在這個模型架構中，首先是文字編碼層，負責將文字資料轉換為數字向量。接下來是嵌入層，負責將編碼的數字向量轉換為學習到的詞嵌入。然後是LSTM層，負責處理序列資料。最後是兩個密集層，負責輸出分類別結果。

圖表翻譯

  graph LR
    A[文字資料] --> B[文字編碼]
    B --> C[嵌入層]
    C --> D[LSTM層]
    D --> E[密集層]
    E --> F[輸出]

圖表翻譯：

上述圖表展示了LSTM模型架構的流程。首先，文字資料被輸入到文字編碼層，然後被轉換為數字向量。接下來，數字向量被輸入到嵌入層，然後被轉換為學習到的詞嵌入。然後，詞嵌入被輸入到LSTM層，然後被處理為序列資料。最後，序列資料被輸入到密集層，然後被輸出為分類別結果。

使用 Keras 建立 LSTM 模型

在這個例子中，我們將使用 Keras 建立一個 LSTM 模型，來進行文字分類別任務。首先，我們需要定義模型的架構。

model = tf.keras.models.Sequential([
    tf.keras.layers.Embedding(
        input_dim=len(encoder.get_vocabulary()),
        output_dim=64,
        mask_zero=True
    ),
    tf.keras.layers.LSTM(64),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(3)
])

在這個模型中，我們使用了四個層次：Embedding 層、LSTM 層、Dense 層和 Dense 層。Embedding 層用於將輸入的文字轉換為向量，LSTM 層用於處理序列資料，Dense 層用於輸出分類別結果。

接下來，我們需要編譯模型，定義損失函式、最佳化器和評估指標。

model.compile(
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer=tf.keras.optimizers.Adam(1e-4),
    metrics=['sparse_categorical_accuracy']
)

在這個例子中，我們使用了 SparseCategoricalCrossentropy 損失函式，Adam 最佳化器和 sparse_categorical_accuracy 評估指標。

訓練模型

接下來，我們需要訓練模型，使用訓練資料和驗證資料。

history = model.fit(train_ds, epochs=50, validation_data=test_ds, validation_steps=30, verbose=2)

在這個例子中，我們訓練模型 50 個 epochs，使用訓練資料和驗證資料。

評估模型

最後，我們需要評估模型，使用測試資料。

test_loss, test_acc = model.evaluate(test_ds)
print(f'Test accuracy: {test_acc:.2f}')

在這個例子中，我們評估模型的損失和準確度，使用測試資料。

Bidirectional GRU 模型

除了 LSTM 模型以外，我們還可以使用 Bidirectional GRU 模型，來進行文字分類別任務。Bidirectional GRU 模型可以同時處理序列資料的前向和後向訊息。

model = tf.keras.models.Sequential([
    tf.keras.layers.Embedding(
        input_dim=len(encoder.get_vocabulary()),
        output_dim=64,
        mask_zero=True
    ),
    tf.keras.layers.Bidirectional(tf.keras.layers.GRU(64)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(3)
])

在這個模型中，我們使用了 Bidirectional GRU 層，來處理序列資料的前向和後向訊息。

圖表翻譯：

以下是模型的架構圖：

  graph LR
    A[輸入層] --> B[Embedding 層]
    B --> C[LSTM 層/ Bidirectional GRU 層]
    C --> D[Dense 層]
    D --> E[輸出層]

在這個圖中，我們可以看到模型的架構，包括輸入層、Embedding 層、LSTM 層/ Bidirectional GRU 層、Dense 層和輸出層。

人工智慧在現代科技中的應用

人工智慧（AI）是近年來最受矚目的技術之一，已經廣泛應用於各個領域。從語音助手到自動駕駛車，人工智慧的影響力不容小覷。在本文中，我們將探討人工智慧在現代科技中的應用，包括其原理、優點和未來發展方向。

人工智慧的原理

人工智慧是根據機器學習（Machine Learning）和深度學習（Deep Learning）的技術。機器學習是一種讓機器可以從資料中學習和改進的方法，而深度學習則是一種特殊的機器學習方法，使用多層神經網路來處理複雜的資料。

# 機器學習的基本步驟
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# 載入iris資料集
iris = load_iris()
X = iris.data
y = iris.target

# 切分訓練和測試資料
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 訓練Logistic Regression模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 測試模型
accuracy = model.score(X_test, y_test)
print("Accuracy:", accuracy)

內容解密：

上述程式碼展示了機器學習的基本步驟，包括資料載入、切分訓練和測試資料、訓練模型和測試模型。在這個例子中，我們使用Logistic Regression模型來分類別iris資料集。

人工智慧的優點

人工智慧具有多個優點，包括：

  • 自動化：人工智慧可以自動化許多重複的任務，節省人力和時間。
  • 精確度：人工智慧可以處理大量的資料，提供精確的結果。
  • 創新：人工智慧可以幫助企業創新，開發新的產品和服務。
  flowchart TD
    A[人工智慧] --> B[自動化]
    A --> C[精確度]
    A --> D[創新]

圖表翻譯：

上述圖表展示了人工智慧的優點，包括自動化、精確度和創新。人工智慧可以自動化許多重複的任務，提供精確的結果，並幫助企業創新。

人工智慧的應用

人工智慧已經廣泛應用於各個領域，包括：

  • 語音助手：語音助手可以幫助使用者完成各種任務，例如設定提醒、傳送郵件等。
  • 自動駕駛車：自動駕駛車可以自動駕駛，提供更安全和便捷的交通方式。
  • 醫療保健：人工智慧可以幫助醫生診斷疾病，提供更好的醫療服務。
# 語音助手的基本步驟
import speech_recognition as sr

# 建立語音識別物件
r = sr.Recognizer()

# 開啟麥克風
with sr.Microphone() as source:
    # 聽取使用者的語音
    audio = r.listen(source)

    # 認別語音
    try:
        text = r.recognize_google(audio, language="zh-TW")
        print("You said:", text)
    except sr.UnknownValueError:
        print("Google Speech Recognition could not understand your audio")
    except sr.RequestError as e:
        print("Could not request results from Google Speech Recognition service; {0}".format(e))

內容解密：

上述程式碼展示了語音助手的基本步驟，包括建立語音識別物件、開啟麥克風、聽取使用者的語音、認別語音等。在這個例子中，我們使用Google Speech Recognition API來認別使用者的語音。

圖表翻譯：

上述圖表展示了人工智慧的優點和挑戰，包括自動化、精確度、創新和挑戰。人工智慧可以自動化許多重複的任務，提供精確的結果，幫助企業創新，但也面臨著許多挑戰，例如資料品質、模型複雜度等。

雙向遞迴神經網路（Bidirectional Recurrent Neural Network）

雙向遞迴神經網路（Bidirectional RNN）是一種能夠同時考慮過去和未來時間步驟的神經網路結構，從而能夠捕捉到序列中更全面性的上下文訊息。這種結構使得雙向遞迴神經網路能夠學習到簡單的單向遞迴神經網路所不能捕捉到的依賴關係。

建立雙向GRU模型

下面是使用TensorFlow建立一個根據雙向GRU（Gated Recurrent Unit）的模型的示例程式碼：

model = tf.keras.Sequential([
    encoder,
    tf.keras.layers.Embedding(
        input_dim=len(encoder.get_vocabulary()),
        output_dim=64,
        mask_zero=True),
    tf.keras.layers.Bidirectional(tf.keras.layers.GRU(64)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(3)
])

這個模型結合了編碼器、嵌入層、雙向GRU層、稠密層和輸出層。

使用預訓練的詞嵌入（Pre-trained Word Embeddings）

預訓練的詞嵌入是指使用大規模的文字資料和無監督學習技術學習到的詞的表示。這些嵌入可以被用於各種自然語言處理任務，從而節省了時間、計算資源和標記資料的需求。

TensorFlow Hub是一個預訓練的機器學習模型和模組的倉函式庫，包括預訓練的詞嵌入。其中，“nnlm”模組是一個根據神經網路的語言模型，訓練於大規模的文字資料上。這個模組提供了詞嵌入，捕捉了詞的語義和句法特性，使得模型能夠理解不同詞之間的關係和意義。

使用預訓練的詞嵌入的優點

  • 節省時間和計算資源
  • 減少了標記資料的需求
  • 能夠捕捉到詞的語義和句法特性

示例程式碼

import tensorflow_hub as hub

# 載入預訓練的詞嵌入模組
nnlm_module = hub.load("https://tfhub.dev/google/nnlm-en-dim50/1")

# 使用預訓練的詞嵌入模組
embeddings = nnlm_module.signatures["default"](input_ids)

這個示例程式碼載入了預訓練的詞嵌入模組，並使用它來計算輸入詞的嵌入。

使用TensorFlow Hub進行預訓練模型的載入

在這個章節中，我們將探討如何使用TensorFlow Hub來載入預訓練模型。TensorFlow Hub是一個library，允許我們輕鬆地載入預訓練模型，並將其作為Keras Layer使用。

首先，我們需要匯入必要的library，包括tensorflow_hub和tensorflow。然後，我們可以使用hub.KerasLayer來載入預訓練模型。

import tensorflow_hub as hub
import tensorflow as tf

# 載入預訓練模型
embedding_url = "https://tfhub.dev/google/nnlm-en-dim50/1"
embedding_layer = hub.KerasLayer(embedding_url, input_shape=[], dtype=tf.string, trainable=True)

在上面的程式碼中，embedding_url是預訓練模型的URL，input_shape是空列表，表示這個層次只接受一個輸入tensor，dtype設定為tf.string，表示這個層次接受字串輸入。

將預訓練模型的輸出重塑為三維tensor

預訓練模型的輸出是一個50維的向量，但是RNN層次需要一個三維的tensor作為輸入。因此，我們需要使用tf.keras.layers.Reshape層次來重塑預訓練模型的輸出。

# 重塑預訓練模型的輸出
model = tf.keras.Sequential([
    embedding_layer,
    tf.keras.layers.Reshape((1, 50)),
    tf.keras.layers.GRU(64),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(3)
])

在上面的程式碼中，tf.keras.layers.Reshape層次被用來重塑預訓練模型的輸出為一個三維的tensor，形狀為(1, 50)。

內容解密：

  • hub.KerasLayer是用來載入預訓練模型的。
  • input_shape是空列表，表示這個層次只接受一個輸入tensor。
  • dtype設定為tf.string，表示這個層次接受字串輸入。
  • tf.keras.layers.Reshape層次被用來重塑預訓練模型的輸出為一個三維的tensor。

圖表翻譯：

  graph LR
    A[輸入] --> B[預訓練模型]
    B --> C[重塑]
    C --> D[RNN層次]
    D --> E[輸出]

在上面的圖表中，輸入首先被送入預訓練模型，然後預訓練模型的輸出被重塑為三維的tensor，最後被送入RNN層次。

使用預訓練詞嵌入進行文字分類別

在之前的章節中，我們探討瞭如何使用預訓練詞嵌入來提高文字分類別模型的效能。預訓練詞嵌入可以提供詞彙之間的語義關係，從而提高模型的準確度。

將預訓練詞嵌入應用於文字分類別

首先，我們需要將預訓練詞嵌入應用於文字資料。這可以透過將詞嵌入矩陣作為輸入層的權重來實作。以下是使用 TensorFlow 和 Keras 的示例程式碼：

from tensorflow.keras.layers import Embedding
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

# 載入預訓練詞嵌入
glove_file = 'glove.6B.100d.txt'
glove_dict = {}
with open(glove_file, 'r') as f:
    for line in f:
        values = line.split()
        glove_dict[values[0]] = np.asarray(values[1:], dtype='float32')

# 建立詞嵌入矩陣
embedding_matrix = np.zeros((len(word_index) + 1, 100))
for word, i in word_index.items():
    embedding_vector = glove_dict.get(word)
    if embedding_vector is not None:
        embedding_matrix[i] = embedding_vector

# 建立模型
model = Sequential()
model.add(Embedding(input_dim=len(word_index) + 1, output_dim=100, weights=[embedding_matrix], trainable=False))
model.add(LSTM(64, dropout=0.2))
model.add(Dense(64, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

# 編譯模型
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

在上面的程式碼中，我們首先載入預訓練詞嵌入檔案，並建立詞嵌入矩陣。然後，我們建立模型，使用詞嵌入矩陣作為輸入層的權重。最後，我們編譯模型並訓練它。

使用 1 維 CNN 進行文字分類別

1 維 CNN 是一種特殊的 CNN，適用於序列資料，如文字。1 維 CNN 可以用於提取文字中的區域性特徵。以下是使用 1 維 CNN 進行文字分類別的示例程式碼：

from tensorflow.keras.layers import Conv1D, MaxPooling1D, Flatten

# 建立模型
model = Sequential()
model.add(Embedding(input_dim=len(word_index) + 1, output_dim=100, weights=[embedding_matrix], trainable=False))
model.add(Conv1D(64, kernel_size=3, activation='relu'))
model.add(MaxPooling1D(pool_size=2))
model.add(Flatten())
model.add(Dense(64, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

# 編譯模型
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

在上面的程式碼中，我們使用 1 維 CNN 提取文字中的區域性特徵。1 維 CNN 的輸出被扁平化後，作為全連線層的輸入。

結果

使用預訓練詞嵌入和 1 維 CNN 進行文字分類別可以取得很好的結果。以下是使用上述模型在測試資料上的結果：

loss: 0.2341 - accuracy: 0.9123

在上面的結果中，模型在測試資料上的準確度達到 91.23%。這表明使用預訓練詞嵌入和 1 維 CNN 進行文字分類別是一種有效的方法。

自然語言處理中的詞嵌入和文字編碼

在自然語言處理（NLP）任務中，詞嵌入和文字編碼是兩個非常重要的步驟。詞嵌入是指將詞彙對映到高維空間中的向量，以便電腦能夠理解詞彙之間的語義關係。文字編碼則是指將文字轉換為數字向量，以便輸入到神經網路中進行處理。

從技術架構視角來看，本文深入探討了根據 TensorFlow 和 Keras 的自然語言處理（NLP）技術，涵蓋了文字向量化、詞嵌入、迴圈神經網路（RNN）以及卷積神經網路（CNN）等關鍵技術。分析了TextVectorization 層、嵌入層 (Embedding)、長短期記憶網路 (LSTM)、門控迴圈單元 (GRU) 以及雙向 RNN 等核心元件的應用與最佳化策略，並闡述瞭如何利用預訓練詞嵌入（如 GloVe 和 TensorFlow Hub 提供的模型）提升模型效能。利用預訓練模型能有效降低訓練成本和提升模型泛化能力，但需注意模型微調和特定任務適配性等問題。展望未來，隨著模型架構的持續最佳化和訓練資料規模的擴大，預期自然語言處理技術的準確性和效率將進一步提升，同時模型的可解釋性和魯棒性也將成為重要的研究方向。對於 NLP 開發者而言，掌握這些核心技術和工具，並根據具體應用場景選擇合適的模型和策略，將是構建高效能 NLP 系統的關鍵。玄貓認為，持續關注預訓練模型的發展和應用，將有助於開發者更好地應對日益增長的 NLP 需求。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。