迴圈神經網路（RNN）在處理序列資料方面表現出色，但其固有的梯度消失問題限制了其在長序列資料上的應用。為瞭解決這個問題，長短期記憶（LSTM）和閘控迴圈單元（GRU）被提出，它們透過引入門控機制來控制訊息的流動和記憶，從而有效地捕捉長期依賴關係。LSTM 的核心是記憶單元和三個閘門：輸入閘、遺忘閘和輸出閘。GRU 則簡化了 LSTM 的結構，只包含更新閘和重置閘。這兩種網路結構都已廣泛應用於自然語言處理、語音辨識等領域。
迴圈神經網路（RNN）中的梯度消失問題
在迴圈神經網路（RNN）中，梯度消失問題是一個嚴重的挑戰。當我們計算梯度時，梯度會隨著時間步驟的增加而消失，這使得網路難以學習長期依賴性。這個問題是由於梯度的計算涉及到多個時間步驟的乘積，當梯度小於 1 時，梯度會隨著時間步驟的增加而消失。
例如，假設我們有一個簡單的線性 RNN，權重為 $W$，當 $|W| > 1$ 時，梯度會隨著時間步驟的增加而爆炸；而當 $|W| < 1$ 時，梯度會隨著時間步驟的增加而消失。這個問題在矩陣權重中尤其嚴重，因為梯度的計算涉及到矩陣的乘積。
長短期記憶（LSTM）單元
為瞭解決梯度消失問題，Hochreiter 和 Schmidhuber 提出了長短期記憶（LSTM）單元。LSTM 單元是一種特殊的 RNN 單元，具有記憶單元和三個閘門：忘記閘門、輸入閘門和輸出閘門。記憶單元可以儲存訊息，並且可以透過閘門控制訊息的流動。
LSTM 單元的工作原理是透過閘門控制訊息的流動，從而避免梯度消失問題。忘記閘門可以控制記憶單元中的訊息是否被忘記；輸入閘門可以控制新訊息是否被加入到記憶單元中；輸出閘門可以控制記憶單元中的訊息是否被輸出。
LSTM 單元的優點
LSTM 單元具有多個優點，包括：
- 可以學習長期依賴性：LSTM 單元可以儲存訊息，並且可以透過閘門控制訊息的流動，從而避免梯度消失問題。
- 可以處理變長序列：LSTM 單元可以處理變長序列的輸入和輸出。
- 可以學習複雜的模式：LSTM 單元可以學習複雜的模式和依賴性。
瞭解迴圈神經網路（RNNs）
迴圈神經網路（RNNs）是一種特殊的神經網路結構，設計用於處理序列資料。它的核心概念是使用迴圈連線來記憶過去的資訊，並利用這些資訊來預測未來的結果。在這種結構中，存在著多種不同的門控機制，用於控制資訊的流動。
門控機制
門控機制是RNNs中的一個關鍵元件，負責控制資訊的流動。它包括三個主要的門：遺忘門（Forget Gate）、輸入門（Input Gate）和輸出門（Output Gate）。
遺忘門（Forget Gate）
遺忘門的作用是決定是否要遺忘之前的資訊。它根據之前的輸出和當前的輸入，計算出一個權重值，然後使用sigmoid啟用函式將其對映到[0, 1]範圍內。這個權重值決定了之前的資訊被遺忘的程度。
輸入門（Input Gate）
輸入門的作用是決定要增加什麼新的資訊到記憶中。它也根據之前的輸出和當前的輸入，計算出一個權重值，然後使用sigmoid啟用函式將其對映到[0, 1]範圍內。這個權重值決定了新的資訊被增加的程度。
輸出門（Output Gate）
輸出門的作用是決定最終的輸出結果。它根據之前的輸出和當前的輸入，計算出一個權重值，然後使用sigmoid啟用函式將其對映到[0, 1]範圍內。這個權重值決定了最終輸出的程度。
LSTM的運作過程
LSTM（Long Short-Term Memory）是一種特殊的RNNs結構，設計用於處理長序列資料。它的運作過程如下：
- 遺忘門計算出之前的資訊被遺忘的程度。
- 輸入門計算出新的資訊被增加的程度。
- 輸出門計算出最終的輸出結果。
- 最終的輸出結果是之前的輸出和當前的輸入的加權和。
LSTM的優點
LSTM具有以下優點：
- 能夠處理長序列資料。
- 能夠記憶過去的資訊。
- 能夠控制資訊的流動。
從神經網路到LSTM：深入探索
在人工智慧和深度學習的領域中，Recurrent Neural Networks（RNN）是一種重要的模型，尤其是在自然語言處理（NLP）任務中。然而，RNN存在著梯度消失的問題，這限制了其在長序列資料上的應用。為瞭解決這個問題，Long Short-Term Memory（LSTM）網路被提出。LSTM透過引入記憶單元（cell state）和閘門機制（gates），實作了長距離依賴關係的學習。
LSTM的基本結構
LSTM網路的核心是其記憶單元和三個閘門：輸入閘門（input gate）、遺忘閘門（forget gate）和輸出閘門（output gate）。這些閘門控制著訊息的流動，決定了哪些訊息被記住、遺忘或輸出。
給定輸入$x_t$、前一時刻的隱藏狀態$h_{t-1}$和記憶單元$c_{t-1}$，LSTM的更新規則可以描述如下：
遺忘閘門：決定哪些訊息從前一時刻的記憶單元中被遺忘。 [ f_t = \sigma(W_f \cdot [h_{t-1}, x_t]) ]
輸入閘門：決定哪些新的訊息被增加到記憶單元中。 [ i_t = \sigma(W_i \cdot [h_{t-1}, x_t]) ] [ \tilde{c}t = \tanh(W_c \cdot [h{t-1}, x_t]) ]
記憶單元更新：根據遺忘閘門和輸入閘門更新記憶單元。 [ c_t = f_t \cdot c_{t-1} + i_t \cdot \tilde{c}_t ]
輸出閘門：決定哪些訊息從記憶單元中被輸出為當前時刻的隱藏狀態。 [ o_t = \sigma(W_o \cdot [h_{t-1}, x_t]) ] [ h_t = o_t \cdot \tanh(c_t) ]
LSTM如何解決梯度消失問題
LSTM透過其特殊的結構避免了梯度消失問題。當遺忘閘門接近1而輸入閘門接近0時，記憶單元的值可以在時間上保持不變，允許訊息在長距離上傳遞。這使得LSTM能夠學習到長距離依賴關係。
例項演示
假設有一個簡單的LSTM網路，其輸入、狀態和輸出都是標量值。初始狀態為$c_{t-1} = N$，第一個時間步的輸入為3，輸入閘門為1，遺忘閘門為0。這意味著前一時刻的狀態被完全遺忘，新的狀態$c_t$變為3。
在接下來的兩個時間步中，遺忘閘門設為1，輸入閘門設為0。由於輸入閘門為0，沒有新訊息被增加到記憶單元中；而由於遺忘閘門為1，記憶單元中的訊息得以保留。因此，在這兩個時間步中，狀態保持不變。
迴圈神經網路（RNN）細究
在探討迴圈神經網路（RNN）的過程中，我們已經瞭解了其基本結構和運作原理。接下來，我們將更深入地探討RNN的細節，特別是長短期記憶（LSTM）單元和閘控迴圈單元（GRU）。
LSTM單元
LSTM單元是RNN的一種變體，設計用於解決梯度消失和爆炸問題。它透過引入三個閘控：輸入閘、遺忘閘和輸出閘，來控制訊息的流動。這些閘控使得LSTM單元可以選擇性地記住或忘記訊息，從而更好地捕捉長期依賴關係。
在LSTM單元中，遺忘閘的作用是決定哪些訊息需要被遺忘，哪些需要被保留。這是透過計算每個時間步的遺忘閘值來實作的。遺忘閘值越接近1，表示越多的訊息被保留；越接近0，表示越多的訊息被遺忘。
梯度計算
在計算LSTM單元的梯度時，我們需要考慮到每個時間步之間的依賴關係。這是透過計算每個時間步的梯度，並將其傳播到前面的時間步來實作的。這個過程可以使用鏈式法則來計算。
閘控迴圈單元（GRU）
GRU是一種比LSTM單元更輕量級的迴圈單元，它保留了LSTM的優點，但減少了引數和運算量。GRU單元通常具有與LSTM相似的效能，但需要更少的計算資源。
GRU單元的結構與LSTM單元相似，但它只有兩個閘控：更新閘和重置閘。更新閘決定了哪些訊息需要被更新，重置閘決定了哪些訊息需要被重置。
圖表翻譯：
此圖表示了LSTM單元和GRU單元之間的關係。LSTM單元有三個閘控：輸入閘、遺忘閘和輸出閘。GRU單元只有兩個閘控：更新閘和重置閘。這兩種單元都可以用於處理序列資料，但GRU單元更輕量級，需要更少的計算資源。
內容解密：
在上面的程式碼中，我們定義了一個簡單的RNN模型，使用LSTM單元和GRU單元。這個模型可以用於處理序列資料，例如語言翻譯或文字生成。透過調整模型的引數和結構，可以改善其效能和效率。
GRU神經網路簡介
GRU（Gated Recurrent Unit）是一種迴圈神經網路（RNN），它結合了隱藏狀態和單元狀態的概念。GRU有一個隱藏狀態，稱為 $h_t$，它結合了隱藏狀態和單元狀態的功能。GRU有兩個門：更新門和重置門。
更新門
更新門 $z_t$ 是一個結合了輸入和前一隱藏狀態的門，決定哪些訊息需要被遺忘和哪些訊息需要被新增。它根據輸入 $x_t$ 和前一隱藏狀態 $h_{t-1}$，透過以下公式計算： $$z_t = \sigma(W_z x_t + U_z h_{t-1})$$
重置門
重置門 $r_t$ 是一個使用前一隱藏狀態和輸入的門，決定哪些訊息需要被重置： $$r_t = \sigma(W_r x_t + U_r h_{t-1})$$
候選隱藏狀態
候選隱藏狀態 $h_t’$ 是一個使用重置門和輸入的隱藏狀態： $$h_t’ = \tanh(W x_t + U(r_t \odot h_{t-1}))$$
GRU輸出
GRU的輸出 $h_t$ 是一個元素級別的和，結合了前一隱藏狀態和候選隱藏狀態： $$h_t = z_t \odot h_{t-1} + (1 - z_t) \odot h_t’$$ GRU的優點在於它可以同時處理序列訊息和時間訊息，並且可以學習到長距離的依賴關係。
實踐中的GRU應用
在實踐中，GRU被廣泛應用於自然語言處理任務中，例如文字分類別和語言模型等。以下是一個使用LSTM實作文字分類別的例子。
文字分類別實作
在這個例子中，我們將使用LSTM實作一個簡單的文字分類別模型。首先，我們需要準備資料和模型結構。
import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Embedding, LSTM, Dense
# 定義模型結構
model = Sequential()
model.add(Embedding(input_dim=10000, output_dim=128, input_length=100))
model.add(LSTM(units=64, dropout=0.2))
model.add(Dense(64, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
模型訓練
模型訓練過程中，我們需要定義損失函式、最佳化器和評估指標等。
# 編譯模型
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
模型評估
模型評估過程中，我們需要評估模型的效能。
# 評估模型
loss, accuracy = model.evaluate(x_test, y_test)
print(f'測試準確率：{accuracy:.2f}')
GRU和LSTM都是迴圈神經網路的變體，它們可以用於序列資料的處理和分析。GRU和LSTM都可以用於自然語言處理任務中，例如文字分類別和語言模型等。
GRU和LSTM的區別
GRU和LSTM都是迴圈神經網路的變體，它們都可以用於序列資料的處理和分析。但是，GRU比LSTM簡單，計算量小，適合於小型序列資料的處理。
內容解密：
GRU和LSTM都是迴圈神經網路的變體，它們都可以用於序列資料的處理和分析。GRU比LSTM簡單，計算量小，適合於小型序列資料的處理。GRU的優點在於它可以學習到長距離的依賴關係，並且可以處理序列資料的時間依賴關係。
圖表翻譯：
graph LR
A[輸入層] -->|輸入|> B[GRU]
B --> C[隱藏狀態]
C --> D[輸出層]
D --> E[輸出]
在這個圖表中，我們可以看到GRU的結構和工作原理。GRU的輸入層接收輸入資料，然後透過更新門和重置門，計算隱藏狀態和輸出。
情感分析模型的實作
情感分析是一種自然語言處理任務，旨在判斷一段文字的正面或負面情感。這個模型使用了詞嵌入（word embeddings）和長短期記憶（LSTM）網路來實作。
模型架構
模型的架構如圖6.15所示，主要包括以下幾個部分：
- 詞嵌入：每個詞彙被替換為其對應的詞嵌入向量。這些詞嵌入可以使用Word2Vec等方法產生。
- LSTM網路：詞嵌入向量被輸入到LSTM網路中，LSTM網路會對序列中的每個詞彙進行處理。
- 全連線層：LSTM網路的輸出被輸入到一個全連線層中，該層有兩個輸出單元，使用softmax啟用函式，輸出代表著正面或負面情感的機率。
- 輸出：序列中的最後一個元素的輸出被視為整個序列的結果。
實作細節
以下是實作細節：
- 裝置選擇：首先選擇裝置，預設使用GPU，如果沒有GPU則使用CPU。
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
- 資料預處理：使用TorchText包來進行資料預處理，包括分詞和建立詞彙表。
from torchtext.data.utils import get_tokenizer
tokenizer = get_tokenizer('basic_english')
- 建立詞彙表：使用分詞器建立詞彙表，包括訓練集和測試集的詞彙。
from torchtext.datasets import IMDB
from torchtext.vocab import build_vocab_from_iterator
def yield_tokens(data_iter):
for _, text in data_iter:
yield tokenizer(text)
vocabulary = build_vocab_from_iterator(
yield_tokens(IMDB(split='train')),
specials=["<unk>"]
)
vocabulary.set_default_index(vocabulary["<unk>"])
- 定義批次合併函式：定義一個函式來合併批次中的序列，包括標籤、樣本和偏移量。
def collate_batch(batch):
labels, samples, offsets = [], [], [0]
# ...
文字分類別的實作
在文字分類別任務中，處理文字資料是一個重要的步驟。下面是一個使用 PyTorch 實作文字分類別的例子。
資料預處理
首先，需要對文字資料進行預處理。這包括將文字轉換為數字表示，例如使用詞嵌入（word embedding）。以下是預處理的實作：
for _label, _sample in batch:
labels.append(int(_label) - 1)
processed_text = torch.tensor(
vocabulary(tokenizer(_sample)),
dtype=torch.int64)
samples.append(processed_text)
offsets.append(processed_text.size(0))
labels = torch.tensor(labels, dtype=torch.int64)
offsets = torch.tensor(offsets[:-1]).cumsum(dim=0)
samples = torch.cat(samples)
return labels, samples, offsets
在這個實作中，batch 是一個包含多個文字樣本的批次。每個樣本都被轉換為數字表示，並儲存在 samples 列表中。offsets 列表儲存了每個樣本的偏移量，這是為了之後可以將長序列分割回原始樣本。
LSTM 模型
接下來，定義一個 LSTM 模型：
class LSTMModel(torch.nn.Module):
def __init__(self, vocab_size, embedding_size, hidden_size, num_classes):
super().__init__()
# Embedding 層
self.embedding = torch.nn.Embedding(vocab_size, embedding_size)
# LSTM 層
self.lstm = torch.nn.LSTM(embedding_size, hidden_size, num_layers=1, batch_first=True)
# 分類別層
self.fc = torch.nn.Linear(hidden_size, num_classes)
這個模型包括一個嵌入層（self.embedding）、一個 LSTM 層（self.lstm）和一個分類別層（self.fc）。
模型訓練
模型定義好後，可以開始訓練。這包括將預處理的資料餵入模型，計算損失，更新模型引數等步驟。
自然語言處理與迴圈神經網路
在自然語言處理（NLP）中，迴圈神經網路（RNN）是一種常用的模型，尤其是在處理序列資料的任務中。下面是一個簡單的RNN模型實作，使用PyTorch框架。
RNN模型實作
import torch
import torch.nn as nn
class LSTMModel(nn.Module):
def __init__(self, vocab_size, embedding_size, hidden_size, num_classes):
super(LSTMModel, self).__init__()
self.embedding = nn.EmbeddingBag(
num_embeddings=vocab_size,
embedding_dim=embedding_size
)
self.rnn = nn.LSTM(
input_size=embedding_size,
hidden_size=hidden_size
)
self.fc = nn.Linear(
hidden_size, num_classes
)
def forward(self, text_sequence, offsets):
embeddings = self.embedding(text_sequence, offsets)
h_t, c_t = self.rnn(embeddings)
return self.fc(h_t)
模型解釋
這個模型由三個主要部分組成：
- Embedding層：使用
nn.EmbeddingBag將輸入的文字序列轉換為向量表示。這層的輸入是文字序列和偏移量，輸出是向量表示。 - LSTM層：使用
nn.LSTM處理向量表示的序列資料。這層的輸入是向量表示，輸出是LSTM的隱藏狀態和細胞狀態。 - 全連線層：使用
nn.Linear將LSTM的隱藏狀態轉換為輸出。這層的輸入是LSTM的隱藏狀態，輸出是模型的最終輸出。
訓練和測試
要訓練和測試這個模型，需要定義訓練和測試的函式。這些函式與第三章中定義的函式類別似，但需要適應壓縮批次表示和額外的偏移量引數。
def train_model(model, cost_function, optimizer, data_loader):
# 訓練模型
model.train()
for batch in data_loader:
# 前向傳播
outputs = model(batch['text_sequence'], batch['offsets'])
# 計算損失
loss = cost_function(outputs, batch['label'])
# 反向傳播
optimizer.zero_grad()
loss.backward()
# 更新模型引數
optimizer.step()
def test_model(model, cost_function, data_loader):
# 測試模型
model.eval()
total_loss = 0
with torch.no_grad():
for batch in data_loader:
# 前向傳播
outputs = model(batch['text_sequence'], batch['offsets'])
# 計算損失
loss = cost_function(outputs, batch['label'])
# 累加損失
total_loss += loss.item()
# 傳回平均損失
return total_loss / len(data_loader)
實驗
要進行實驗，需要例項化LSTM模型、交叉熵損失函式和Adam最佳化器。
model = LSTMModel(
vocab_size=len(vocabulary),
embedding_size=64,
hidden_size=64,
num_classes=2
)
cost_function = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
然後，可以使用train_model和test_model函式訓練和測試模型。
自然語言處理與迴圈神經網路
在本章中，我們探討了兩個互補的主題：自然語言處理（NLP）和迴圈神經網路（RNNs）。首先，我們介紹了分詞技術和幾種流行的分詞演算法，包括BPE、WordPiece和Unigram。接著，我們討論了詞嵌入向量的概念和Word2Vec演算法的使用。然後，我們介紹了n-gram語言模型，這使我們順暢地過渡到了RNN的話題。在RNN中，我們實作了一個基本的RNN範例，並介紹了兩種最先進的RNN架構：長短期記憶（LSTM）和門控遞迴單元（GRU）。最後，我們實作了一個情感分析模型。
自然語言處理
自然語言處理是一個重要的研究領域，涉及使電腦能夠理解和處理人類語言。其中一個關鍵步驟是分詞，即將文字分解為單個詞彙或符號。常見的分詞演算法包括BPE、WordPiece和Unigram，它們各有優缺點。
詞嵌入向量
詞嵌入向量是一種將詞彙表示為向量的方法，允許詞彙在高維空間中進行比較和運算。Word2Vec是一種流行的詞嵌入演算法，透過訓練神經網路來學習詞彙之間的關係。
迴圈神經網路
迴圈神經網路是一種特殊的神經網路，能夠處理序列資料，如文字或語音。RNN的基本結構包括輸入層、隱藏層和輸出層，其中隱藏層能夠記憶序列資料的前後關係。LSTM和GRU是兩種最先進的RNN架構，它們能夠更好地處理長期依賴關係和梯度消失問題。
實作情感分析模型
情感分析是一個典型的NLP任務，涉及判斷文字的情感傾向。透過使用LSTM或GRU等RNN架構，我們可以實作一個高精確度的情感分析模型。模型的訓練過程包括定義損失函式、最佳化器和資料載入器等步驟。
從技術架構視角來看，迴圈神經網路（RNN），特別是 LSTM 和 GRU，在自然語言處理領域展現出強大的序列資料處理能力。透過門控機制精妙地控制訊息流，LSTM 有效解決了傳統 RNN 的梯度消失問題，使得長距離依賴關係的捕捉成為可能。而 GRU 作為 LSTM 的簡化版本，在保持相當效能的同時，降低了計算複雜度，更適用於資源受限的場景。
分析 LSTM 和 GRU 的內部結構，可以發現兩者都採用了門控機制來調節訊息的流動和儲存。LSTM 的三個門控——輸入門、遺忘門和輸出門——賦予其更精細的控制能力，而 GRU 的更新門和重置門則在簡潔性和效率上取得了平衡。不同門控機制的設計也影響了模型的計算成本和訓練速度。
展望未來，RNN 架構的演進方向將聚焦於更高效的門控機制設計、更輕量級的模型結構以及與注意力機制更緊密的結合。同時，隨著硬體算力的提升和演算法的最佳化，RNN 在處理更長序列、更複雜語義的任務上將展現出更大的潛力。
玄貓認為，針對不同規模的 NLP 任務，選擇合適的 RNN 架構至關重要。對於需要處理長序列和複雜依賴關係的任務，LSTM 仍是首選；而對於資源有限或追求更高效能的場景，GRU 則更具優勢。開發者應根據具體需求權衡模型的複雜度和效能，才能最大程度地發揮 RNN 的價值。
