Transformer模型架構與實作細節解析

– 13 分鐘閱讀

Transformer模型的核心是由Encoder和Decoder組成，它們都由多個相同的層堆積疊而成。每個Encoder層包含自注意力機制和前饋網路，而Decoder層則額外加入了Encoder-Decoder注意力機制，允許Decoder關注Encoder的輸出。位置編碼為模型提供了序列中每個詞彙的位置訊息，彌補了Transformer模型本身缺乏位置訊息的缺陷。BERT模型作為一種Transformer的編碼器架構，在預訓練階段採用了掩蔽語言模型和下一句預測任務，並可針對下游任務進行微調。GPT模型則使用了Transformer的解碼器架構，專注於生成式任務，同樣採用預訓練和微調的策略。隨著模型規模和資料量的增長，大語言模型（LLM）展現出更強大的能力，並衍生出新的提示介面和研究方向。

Decoder的結構

Decoder的結構與Encoder相似，同樣由多個相同的層組成，每個層被稱為DecoderBlock。每個DecoderBlock包含三個子層：

  1. Self-Attention機制：這允許Decoder中的每個位置都能夠關注到輸入序列中的所有位置。
  2. Encoder-Decoder Attention機制：這使得Decoder中的每個位置都能夠關注到Encoder的輸出序列中的所有位置。
  3. Feed Forward Network (FFN)：這是一個全連線神經網路，用於處理Self-Attention和Encoder-Decoder Attention的輸出。

Decoder的實作

以下是Decoder的實作程式碼：

class Decoder(torch.nn.Module):
    def __init__(self, block: DecoderBlock, N: int, vocab_size: int):
        super(Decoder, self).__init__()
        self.blocks = clones(block, N)
        self.norm = torch.nn.LayerNorm(block.size)
        self.projection = torch.nn.Linear(block.size, vocab_size)

    def forward(self, x, encoder_states, source_mask, target_mask):
        for layer in self.blocks:
            x = layer(x, encoder_states, source_mask, target_mask)
        x = self.norm(x)
        return torch.nn.functional.log_softmax(self.projection(x), dim=-1)

在這段程式碼中，Decoder類別繼承自torch.nn.Module，並定義了__init__和forward兩個方法。

  • __init__方法初始化Decoder的引數，包括DecoderBlock的例項、層數、詞彙表大小等。
  • forward方法定義了Decoder的前向傳播過程。它接收四個輸入引數：x（Decoder的輸入）、encoder_states（Encoder的輸出）、source_mask和target_mask。然後，它遍歷每個DecoderBlock，將輸入x和encoder_states傳入每個Block，然後將Block的輸出作為下一個Block的輸入。最後，它對輸出進行正則化和投影，得到最終的輸出。

Transformer 模型的實作

在瞭解了 Encoder 和 Decoder 的架構後，我們現在可以將它們組合起來，實作完整的 Transformer 模型。

DecoderBlock 的實作

DecoderBlock 是 Transformer Decoder 中的一個重要組成部分，它負責處理輸入序列的每一個元素。DecoderBlock 的實作如下：

class DecoderBlock(torch.nn.Module):
    def __init__(self, size, self_attn, encoder_attn, ffn, dropout=0.1):
        super(DecoderBlock, self).__init__()
        self.size = size
        self.self_attn = self_attn
        self.encoder_attn = encoder_attn
        self.ffn = ffn
        self.sublayers = clones(SublayerConnection(size, dropout), 3)

    def forward(self, x, encoder_states, source_mask, target_mask):
        x = self.sublayers[0](x, lambda x: self.self_attn(x, x, x, target_mask))
        x = self.sublayers[1](x, lambda x: self.encoder_attn(x, encoder_states, encoder_states, source_mask))
        return self.sublayers[2](x, self.ffn)

DecoderBlock 的實作與 EncoderBlock 類別似，但它多了一個 encoder_attn 層，用於將 Encoder 的輸出作為 Decoder 的輸入。

EncoderDecoder 的實作

現在，我們可以將 Encoder 和 Decoder 組合起來，實作完整的 Transformer 模型：

class EncoderDecoder(torch.nn.Module):
    def __init__(self, encoder, decoder, source_embeddings):
        super(EncoderDecoder, self).__init__()
        self.encoder = encoder
        self.decoder = decoder
        self.source_embeddings = source_embeddings

    def forward(self, source, target):
        # 將 source 序列轉換為 embeddings
        source_embeddings = self.source_embeddings(source)
        # 將 source 序列輸入 Encoder
        encoder_states = self.encoder(source_embeddings)
        # 將 target 序列輸入 Decoder
        decoder_output = self.decoder(target, encoder_states)
        return decoder_output

EncoderDecoder 的實作相對簡單，它只需要將 Encoder 和 Decoder 組合起來，並將 source 序列轉換為 embeddings。

Transformer 模型的應用

Transformer 模型可以應用於多種自然語言處理任務，例如機器翻譯、文字分類別、語言模型等。在下一節中，我們將介紹如何使用 Transformer 模型進行機器翻譯任務。

圖表翻譯：

  graph LR
    A[Source 序列] -->|轉換為 embeddings|> B[Encoder]
    B -->|輸出 encoder_states|> C[Decoder]
    C -->|輸出 decoder_output|> D[Target 序列]

這個圖表展示了 Transformer 模型的工作流程，從 source 序列轉換為 embeddings，然後輸入 Encoder 和 Decoder，最終輸出 target 序列。

Transformer 模型的實作

Transformer 模型是一種根據自注意力機制的神經網路架構，廣泛應用於自然語言處理任務。以下是 Transformer 模型的實作細節：

EncoderDecoder 類別

EncoderDecoder 類別是 Transformer 模型的核心，它結合了編碼器（encoder）和解碼器（decoder）兩個部分。它的實作如下：

class EncoderDecoder(torch.nn.Sequential):
    def __init__(self, encoder, decoder, source_embeddings, target_embeddings):
        super(EncoderDecoder, self).__init__()
        self.encoder = encoder
        self.decoder = decoder
        self.source_embeddings = source_embeddings
        self.target_embeddings = target_embeddings

    def forward(self, source, target, source_mask, target_mask):
        encoder_output = self.encoder(
            x=self.source_embeddings(source),
            mask=source_mask
        )
        return self.decoder(
            x=self.target_embeddings(target),
            encoder_states=encoder_output,
            source_mask=source_mask,
            target_mask=target_mask
        )

這個類別接收四個引數：encoder、decoder、source_embeddings 和 target_embeddings。它的 forward 方法首先將源序列（source）輸入到編碼器中，然後將編碼器的輸出和目標序列（target）一起輸入到解碼器中。

build_model 函式

build_model 函式用於建立一個完整的 Transformer 模型。它的實作如下：

def build_model(source_vocabulary: int, target_vocabulary: int, N=6, d_model=512, d_ff=2048, h=8, dropout=0.1):
    c = copy.deepcopy

    attn = MultiHeadedAttention(h, d_model)
    ff = PositionwiseFFN(d_model, d_ff, dropout)

    # ...

這個函式接收七個引數：source_vocabulary、target_vocabulary、N、d_model、d_ff、h 和 dropout。它的實作包括建立多頭自注意力機制（MultiHeadedAttention）和位置智慧前饋神經網路（PositionwiseFFN）等。

MultiHeadedAttention 類別

MultiHeadedAttention 類別用於實作多頭自注意力機制。它的實作如下：

class MultiHeadedAttention(torch.nn.Module):
    def __init__(self, h, d_model):
        super(MultiHeadedAttention, self).__init__()
        self.h = h
        self.d_model = d_model
        # ...

    def forward(self, query, key, value, mask):
        # ...

這個類別接收四個引數：query、key、value 和 mask。它的 forward 方法實作了多頭自注意力機制的計算。

PositionwiseFFN 類別

PositionwiseFFN 類別用於實作位置智慧前饋神經網路。它的實作如下：

class PositionwiseFFN(torch.nn.Module):
    def __init__(self, d_model, d_ff, dropout):
        super(PositionwiseFFN, self).__init__()
        self.d_model = d_model
        self.d_ff = d_ff
        self.dropout = dropout
        # ...

    def forward(self, x):
        # ...

這個類別接收三個引數：d_model、d_ff 和 dropout。它的 forward 方法實作了位置智慧前饋神經網路的計算。

Transformer 模型的應用

Transformer 模型可以應用於多種自然語言處理任務，例如機器翻譯、文字分類別、命名實體識別等。以下是 Transformer 模型在機器翻譯任務中的應用示例：

# 建立一個 Transformer 模型
model = build_model(source_vocabulary=10000, target_vocabulary=10000)

# 輸入源序列和目標序列
source = torch.tensor([1, 2, 3, 4, 5])
target = torch.tensor([6, 7, 8, 9, 10])

# 執行模型
output = model(source, target, source_mask=None, target_mask=None)

# 輸出預測結果
print(output)

這個示例建立了一個 Transformer 模型，然後輸入源序列和目標序列，執行模型並輸出預測結果。

Transformer模型的實作

在Transformer模型中，位置編碼（PositionalEncoding）是一個重要的組成部分，負責為輸入序列增加位置訊息。以下是位置編碼的實作：

position = PositionalEncoding(d_model, dropout)

接下來，我們實作了EncoderDecoder模型：

model = EncoderDecoder(
    encoder=Encoder(
        EncoderBlock(d_model, c(attn), c(ff), dropout), N),
    decoder=Decoder(
        DecoderBlock(d_model, c(attn), c(attn), c(ff), dropout), N, target_vocabulary),
    source_embeddings=torch.nn.Sequential(
        Embeddings(d_model, source_vocabulary), c(position)
    ),
    target_embeddings=torch.nn.Sequential(
        Embeddings(d_model, target_vocabulary), c(position)
    )
)

在這個實作中，我們使用了多頭注意力機制（MultiHeadedAttention）和位置編碼（PositionalEncoding）等技術。

注意力機制

注意力機制是Transformer模型的核心部分，負責計算輸入序列中不同位置之間的相關性。以下是注意力機制的實作：

attn = MultiHeadedAttention(d_model, num_heads)

位置編碼

位置編碼是一個靜態的位置編碼，負責為輸入序列增加位置訊息。以下是位置編碼的實作：

position = PositionalEncoding(d_model, dropout)

Embeddings

Embeddings是輸入序列的嵌入層，負責將輸入序列轉換為向量表示。以下是Embeddings的實作：

source_embeddings = torch.nn.Sequential(
    Embeddings(d_model, source_vocabulary), c(position)
)

在這個實作中，我們使用了嵌入層（Embeddings）和位置編碼（PositionalEncoding）等技術。

初始化引數

最後，我們初始化模型的引數：

for p in model.parameters():
    if p.dim() > 1:
        torch.nn.init.xavier_uniform_(p)

這樣，我們就完成了Transformer模型的實作。

內容解密：

在這個實作中，我們使用了多頭注意力機制（MultiHeadedAttention）和位置編碼（PositionalEncoding）等技術。這些技術可以幫助模型學習輸入序列中不同位置之間的相關性和位置訊息。

圖表翻譯：

以下是Transformer模型的架構圖：

  graph LR
    A[輸入序列] --> B[位置編碼]
    B --> C[嵌入層]
    C --> D[編碼器]
    D --> E[解碼器]
    E --> F[輸出序列]

在這個圖中，我們可以看到輸入序列經過位置編碼和嵌入層後，進入編碼器和解碼器，最終生成輸出序列。

Transformer 架構的變體：編碼器和解碼器

Transformer 架構是一種強大的神經網路模型，主要由編碼器（encoder）和解碼器（decoder）組成。然而，在實際應用中，我們通常使用其變體：編碼器-解碼器、編碼器和解碼器。

編碼器-解碼器架構

編碼器-解碼器架構是 Transformer 的基本形式，包含一個編碼器和一個解碼器。編碼器負責處理輸入資料，提取特徵和上下文訊息，而解碼器則根據編碼器的輸出生成輸出資料。

編碼器架構

編碼器架構是編碼器-解碼器架構的一部分，主要負責處理輸入資料。編碼器架構包括多個相同的層，每層由兩個子層組成：自注意力機制（self-attention mechanism）和前向神經網路層（feed forward network layer）。自注意力機制允許模型關注輸入資料的不同部分，而前向神經網路層則對輸入資料進行變換。

解碼器架構

解碼器架構是編碼器-解碼器架構的一部分，主要負責根據編碼器的輸出生成輸出資料。解碼器架構包括多個相同的層，每層由三個子層組成：自注意力機制、編碼器-解碼器注意力機制（encoder-decoder attention mechanism）和前向神經網路層。自注意力機制允許模型關注輸入資料的不同部分，編碼器-解碼器注意力機制則允許模型關注編碼器的輸出，而前向神經網路層則對輸入資料進行變換。

BERT 模型

BERT（Bidirectional Encoder Representations from Transformers）是一種編碼器架構，主要用於自然語言處理任務。BERT 模型包括多個編碼器層，每層由兩個子層組成：自注意力機制和前向神經網路層。BERT 模型使用 WordPiece 分詞和 30,000 個詞彙。

BERT 模型大小

BERT 模型有兩種大小：BASE 和 LARGE。BASE 模型有 12 個編碼器層，每層有 12 個注意力頭，768 維的注意力向量和 110M 個引數。LARGE 模型有 24 個編碼器層，每層有 16 個注意力頭，1,024 維的注意力向量和 340M 個引數。

Transformer 架構的優點

Transformer 架構有多個優點，包括：

  • 平行化: Transformer 架構可以平行化處理輸入資料，這使得模型的訓練速度更快。
  • 注意力機制: Transformer 架構使用注意力機制，可以讓模型關注輸入資料的不同部分。
  • 編碼器-解碼器架構: Transformer 架構使用編碼器-解碼器架構，可以讓模型根據編碼器的輸出生成輸出資料。

BERT模型的輸入嵌入和訓練過程

BERT（Bidirectional Encoder Representations from Transformers）是一種預訓練的語言模型，主要用於自然語言處理任務。它的輸入嵌入是透過將token嵌入、分段嵌入和位置嵌入相加而得。

BERT輸入嵌入

BERT的輸入嵌入是由三部分組成：

  1. Token嵌入：每個token都有一個對應的嵌入向量，表示該token的語義訊息。
  2. 分段嵌入：每個分段都有一個對應的嵌入向量，表示該分段的語義訊息。
  3. 位置嵌入：每個token都有一個對應的位置嵌入向量，表示該token在序列中的位置訊息。

這三部分嵌入向量相加後，得到最終的輸入嵌入向量。

BERT訓練過程

BERT的訓練過程分為兩個階段：預訓練和微調。

  1. 預訓練：BERT模型在大規模的無標籤資料集上進行預訓練，目的是學習語言的基本語法和語義結構。預訓練的任務包括掩蔽語言模型（Masked Language Modeling）和下一句預測（Next Sentence Prediction）。
  2. 微調：在預訓練的基礎上，BERT模型可以被微調以適應特定的下游任務，例如情感分析、問答等。微調的過程是將預訓練的模型引數作為初始值，然後在下游任務的資料集上進行微調。

BERT的下游任務

BERT可以應用於多種下游任務，包括：

  • 情感分析：BERT可以用於情感分析任務，例如判斷一段文字的情感是正面還是負面。
  • 問答：BERT可以用於問答任務，例如找出一段文字中答案的起始和結束位置。
  • 命名實體識別：BERT可以用於命名實體識別任務，例如識別一段文字中的人名、地名等實體。

GPT模型

GPT（Generative Pre-trained Transformer）是一種預訓練的語言模型，主要用於生成任務。它的架構與BERT類別似，但只有解碼器部分。

GPT模型結構

GPT模型結構包括多個解碼器層，每個層包括兩個子層：

  1. Masked多頭自注意力：這個子層用於計算輸入序列的自注意力，掩蔽掉未來的token。
  2. FFN：這個子層用於計算輸入序列的前饋神經網路。

GPT模型訓練

GPT模型的訓練過程包括預訓練和微調兩個階段。預訓練的任務是掩蔽語言模型，目的是學習語言的基本語法和語義結構。微調的過程是將預訓練的模型引數作為初始值，然後在下游任務的資料集上進行微調。

瞭解 Transformer 和注意力機制

Transformer 模型是一種根據注意力機制的神經網路架構，主要用於自然語言處理任務。它的核心思想是使用注意力機制來捕捉序列中不同位置之間的關係。

Transformer 模型的結構

Transformer 模型由編碼器（Encoder）和解碼器（Decoder）兩部分組成。編碼器負責將輸入序列轉換為一系列向量，解碼器則負責根據這些向量生成輸出序列。

注意力機制

注意力機制是 Transformer 模型的核心部分。它允許模型關注輸入序列的不同部分，以捕捉序列中不同位置之間的關係。注意力機制可以分為兩種：Bahdanau 注意力和 Luong 注意力。

Transformer 的變體

Transformer 模型有多種變體，包括編碼器-解碼器、編碼器-唯讀和解碼器-唯讀等。這些變體可以用於不同的任務，例如機器翻譯、文字分類別和文字生成。

大語言模型（LLM）

大語言模型（LLM）是一種根據 Transformer 模型的語言模型。它的特點是具有大量的引數和強大的文字生成能力。LLM 已經在自然語言處理任務中取得了驕人的成績。

Hugging Face Transformers

Hugging Face Transformers 是一個根據 Transformer 模型的開源函式庫。它提供了一個簡單的方式來使用和訓練 Transformer 模型，並支援多種語言和任務。

LLM 的架構和訓練

LLM 的架構通常根據 Transformer 模型，並具有大量的引數。訓練 LLM 需要大量的資料和計算資源。

LLM 的特性

LLM 具有多種特性，包括文字生成、語言翻譯和文字分類別等。

LLM 的應用

LLM 可以用於多種任務，例如文字生成、語言翻譯和文字分類別等。

探索大語言模型

在本章中，我們將更深入地探討根據 Transformer 的架構。如同在介紹中提到的，Transformer 區塊自 2017 年引入以來，基本上沒有太大的變化。相反，主要的進步來自於更大的模型和更大的訓練集。例如，原始的 GPT 模型（GPT-1）有 117M 引數，而 GPT-3 有 175B 引數，增長了千倍。

大語言模型（LLM）簡介

我們可以根據大小將 Transformer 模型分為兩個非正式類別：

  • 預訓練語言模型（PLM）：引數較少的 Transformer，例如 BERT 和 GPT，屬於這一類別。這些 Transformer 引入了兩步驟的預訓練/微調（FT）正規化。注意力機制和無監督預訓練（遮罩語言模型（MLM）或下一個詞預測（NWP））的結合創造了有效的通用語義特徵，可以用於多個下游任務。

  • 大語言模型（LLM）：這些是具有數十億引數的 Transformer 模型。LLM 與 PLM 在以下幾個方面有所不同：

    • 出現的能力：它們可以解決一系列複雜的任務。
    • 提示介面：LLM 可以使用自然語言與人類互動，而不是使用特殊 API。
    • 研究和工程的融合：LLM 的規模需要研究人員具備大規模資料處理和平行訓練的強大工程技能。

深入剖析 Transformer 模型的架構和演變後，我們可以清楚地看到，從最初的序列到序列模型到如今的大語言模型 (LLM)，注意力機制和 Transformer 架構的結合徹底改變了自然語言處理領域。Transformer 模型的核心優勢在於其平行處理能力和捕捉長距離依賴關係的能力，這使得訓練更大規模的模型成為可能。然而，模型的規模擴充套件也帶來了新的挑戰，例如巨大的計算資源需求和潛在的過擬合風險。

分析 BERT 和 GPT 等預訓練語言模型，可以發現它們成功地將無監督預訓練與微調策略結合，從而有效地提取通用語義特徵，並應用於各種下游任務。而 LLM 的出現則進一步提升了模型的能力，使其能夠處理更複雜的任務，並透過提示介面實作更自然的人機互動。但 LLM 的發展也意味著研究和工程的深度融合，需要跨領域的專業知識和技能。

展望未來，LLM 的發展趨勢將集中在以下幾個方面：更高效的訓練方法、更精細的模型架構、更強大的推理能力以及更廣泛的應用場景。同時，如何有效控制模型規模、降低訓練成本、提升模型的可解釋性和魯棒性也將是未來研究的重點。

玄貓認為，LLM 代表了自然語言處理的未來方向，其發展潛力巨大。但同時，我們也需要謹慎應對其發展過程中可能出現的挑戰，並積極探索更 responsible 的 LLM 發展路徑，以確保其更好地服務於人類社會。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。