Transformer 模型架構與嵌入層位置編碼深度解析

– 13 分鐘閱讀

Transformer 模型的核心在於其特殊的嵌入層和位置編碼方式，這使得模型能夠有效處理序列資料。嵌入層將輸入序列轉換為固定維度的向量，而位置編碼則為這些向量新增位置資訊，彌補了 Transformer 模型缺乏序列感知能力的不足。這些向量經過處理後，會送入自注意力機制進行運算，從而捕捉序列中不同元素之間的關係。理解嵌入層、位置編碼以及自注意力機制是理解 Transformer 模型的關鍵。更進一步，本文也探討了根據 Transformer 架構的 BART 和 BERT 模型，以及它們在不同 NLP 任務中的應用和優勢。這些模型的出現，極大地推動了自然語言處理領域的發展，並為各種應用場景提供了強大的工具。

嵌入層

嵌入層的主要功能是將輸入的序列（例如文字或詞彙）轉換為一個固定維度的向量空間。這個過程稱為「嵌入」（Embedding）。嵌入層的輸出是一個三維張量，形狀為（批次大小，序列長度，嵌入維度）。

在上面的例子中，嵌入層的輸出形狀為（1，10，2048），其中：

  • 1 是批次大小（Batch Size）
  • 10 是序列長度（Sequence Length）
  • 2048 是嵌入維度（Embedding Dimension）

嵌入層的輸出是一個浮點數數張量，代表了輸入序列中每個元素的嵌入向量。

位置編碼

位置編碼的主要功能是為嵌入層的輸出新增位置資訊。這是因為 Transformer 模型不具有循序性（Sequentiality），因此需要一個機制來告訴模型輸入序列中的元素之間的相對位置。

位置編碼使用一個特殊的向量，稱為「位置編碼向量」（Positional Encoding Vector），來表示每個位置的資訊。這個向量是透過一個公式計算出來的，公式考慮了位置的索引和嵌入維度。

在上面的例子中，位置編碼的輸出形狀為（1，10，2048），與嵌入層的輸出形狀相同。位置編碼的輸出是一個浮點數數張量，代表了每個位置的位置編碼向量。

嵌入層和位置編碼的結合

嵌入層和位置編碼的輸出可以結合起來，形成一個新的張量，形狀為（批次大小，序列長度，嵌入維度）。這個新的張量包含了輸入序列的嵌入資訊和位置資訊，為下游的 Transformer 層提供了必要的輸入。

在上面的例子中，嵌入層和位置編碼的輸出可以結合起來，形成一個新的張量，形狀為（1，10，2048）。這個新的張量包含了輸入序列的嵌入資訊和位置資訊，為下游的 Transformer 層提供了必要的輸入。

程式碼實作

以下是嵌入層和位置編碼的程式碼實作：

import torch
import torch.nn as nn

class EmbeddingLayer(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super(EmbeddingLayer, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)

    def forward(self, input_ids):
        return self.embedding(input_ids)

class PositionalEncoding(nn.Module):
    def __init__(self, embedding_dim, max_len):
        super(PositionalEncoding, self).__init__()
        self.embedding_dim = embedding_dim
        self.max_len = max_len

    def forward(self, attention_mask):
        positional_encoding = torch.zeros(self.max_len, self.embedding_dim)
        for i in range(self.max_len):
            for j in range(self.embedding_dim):
                if j % 2 == 0:
                    positional_encoding[i, j] = torch.sin(i / (10000 ** (j / self.embedding_dim)))
                else:
                    positional_encoding[i, j] = torch.cos(i / (10000 ** ((j - 1) / self.embedding_dim)))
        return positional_encoding

# 初始化嵌入層和位置編碼
embedding_layer = EmbeddingLayer(vocab_size=50272, embedding_dim=2048)
positional_encoding = PositionalEncoding(embedding_dim=2048, max_len=10)

# 輸入序列
input_ids = torch.tensor([[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]])

# 嵌入層輸出
embedding_output = embedding_layer(input_ids)

# 位置編碼輸出
positional_encoding_output = positional_encoding(torch.ones(1, 10))

# 結合嵌入層和位置編碼輸出
combined_output = embedding_output + positional_encoding_output

這個程式碼實作了嵌入層和位置編碼的功能，並結合了兩者的輸出。

自注意力機制解析

在瞭解了位置嵌入後，我們來探討 Transformer 模型中的另一個核心元件：自注意力（Self-Attention）機制。這個機制使模型能夠對輸入序列中的不同位置之間的關係進行建模，從而捕捉長距離依賴關係。

# 取得第一層的自注意力元件
self_attn = OPT.model.decoder.layers[0].self_attn
print("Layer:\t", self_attn)

這裡，self_attn 是一個 OPTAttention 物件，包含多個線性層（Linear）用於對輸入進行投影，以獲得查詢（Query）、鍵（Key）和值（Value）向量。

自注意力輸入建立

自注意力機制的輸入是嵌入向量和位置嵌入向量的總和。這一步驟確保模型不僅能夠理解單個詞彙的含義，也能夠感知到詞彙之間的位置關係。

# 建立自注意力輸入
embed_position_input = embedded_input + embed_pos_input

執行自注意力計算

有了輸入後，模型就可以執行自注意力計算了。這涉及到查詢、鍵和值向量之間的點積注意力計算。

# 執行自注意力計算
hidden_states, _, _ = OPT.model.decoder.layers[0].self_attn(embed_position_input)
print("Size:\t", hidden_states.size())
print("Output:\t", hidden_states)

這裡的輸出是自注意力機制的結果，尺寸為 (1, 10, 2048)，表示批次大小為 1，序列長度為 10，隱藏層大小為 2048。

圖表翻譯：自注意力機制流程

  flowchart TD
    A[輸入嵌入] --> B[位置嵌入]
    B --> C[自注意力輸入]
    C --> D[查詢、鍵、值投影]
    D --> E[點積注意力計算]
    E --> F[自注意力輸出]

內容解密：自注意力機制的作用

自注意力機制是 Transformer 模型的核心元件之一，它使得模型能夠捕捉輸入序列中不同位置之間的關係。這個機制透過查詢、鍵和值向量之間的點積注意力計算來實作，從而產生自注意力輸出。這個過程對於理解長距離依賴關係和建模複雜的語言結構至關重要。

Transformer 架構深度剖析

Transformer 模型是一種革命性的神經網路架構，自 2017 年提出以來，已經在自然語言處理（NLP）領域中取得了巨大的成功。其核心思想是使用自注意力機制（Self-Attention）來處理序列資料，從而實作平行化和效率的提升。在本節中，我們將深入探討 Transformer 的架構設計和其變體。

自注意力機制

自注意力機制是 Transformer 的核心元件，負責計算輸入序列中不同位置之間的相關性。這個機制包括查詢（Query）、鍵（Key）和值（Value）三個層，透過這些層的計算，可以得到輸入序列中每個位置的注意力權重。這些權重代表了不同位置之間的相關性，從而可以用來計算輸出。

Transformer 架構

Transformer 架構包括編碼器（Encoder）和解碼器（Decoder）兩個部分。編碼器負責將輸入序列轉換為一個固定長度的向量，解碼器則負責將這個向量轉換為輸出序列。編碼器和解碼器之間透過一個跨注意力機制（Cross-Attention）相連，允許解碼器注意到編碼器的輸出。

變體和應用

Transformer 架構已經被廣泛應用於各個領域，包括機器翻譯、文字分類、語言模型等。其變體包括 BERT、GPT 等，這些模型透過修改 Transformer 的架構和訓練目標，實作了不同任務的最佳效能。

學習目標的差異

不同的學習目標對模型的行為和結果有著顯著的影響。例如，BERT 的學習目標是預測輸入序列中某些位置的字元，從而實作了語言模型的功能。GPT 的學習目標則是預測下一個字元，從而實作了文字生成的功能。瞭解這些差異是選擇合適的模型和實作最佳效能的關鍵。

內容解密：

在上述內容中，我們深入探討了 Transformer 的架構設計和其變體。自注意力機制是 Transformer 的核心元件，負責計算輸入序列中不同位置之間的相關性。Transformer 架構包括編碼器和解碼器兩個部分，編碼器負責將輸入序列轉換為一個固定長度的向量，解碼器則負責將這個向量轉換為輸出序列。不同的學習目標對模型的行為和結果有著顯著的影響，瞭解這些差異是選擇合適的模型和實作最佳效能的關鍵。

import torch
import torch.nn as nn
import torch.optim as optim

class Transformer(nn.Module):
    def __init__(self):
        super(Transformer, self).__init__()
        self.encoder = nn.TransformerEncoderLayer(d_model=512, nhead=8, dim_feedforward=2048, dropout=0.1)
        self.decoder = nn.TransformerDecoderLayer(d_model=512, nhead=8, dim_feedforward=2048, dropout=0.1)

    def forward(self, src, tgt):
        encoder_output = self.encoder(src)
        decoder_output = self.decoder(tgt, encoder_output)
        return decoder_output

model = Transformer()

圖表翻譯：

以下是 Transformer 架構的 Mermaid 圖表：

  graph LR
    A[輸入序列] --> B[編碼器]
    B --> C[解碼器]
    C --> D[輸出序列]
    B --> E[自注意力機制]
    E --> B
    C --> F[跨注意力機制]
    F --> C

這個圖表展示了 Transformer 的架構，包括編碼器、解碼器、自注意力機制和跨注意力機制。輸入序列先被編碼器處理，然後被解碼器轉換為輸出序列。自注意力機制負責計算輸入序列中不同位置之間的相關性，跨注意力機制則負責計算編碼器和解碼器之間的相關性。

文字生成模型的強大應用

在自然語言處理（NLP）領域中，序列到序列（Sequence-to-Sequence）的模型已經展現出其強大的能力，特別是在文字轉換任務中，如翻譯、摘要等。這類模型的優勢在於其能夠有效地將輸入序列轉換為輸出序列，無論是文字到文字，還是其他形式的多模態應用，如影像字幕生成。

BART 模型的工作原理

BART是一種預訓練模型，它採用了一種創新的方法來學習文字表示。其架構包括一個雙向編碼器（Bidirectional Encoder），負責生成輸入文字的詳細表示；以及一個自迴歸解碼器（Autoregressive Decoder），負責順序生成輸出文字。這種模型的訓練目標是重建原始輸入文字，其中部分被隨機遮罩，同時也會對輸入進行偏移。

載入 BART 模型

以下是使用 Hugging Face Transformers 載入 BART 模型的示例：

from transformers import AutoModel, AutoTokenizer

# 載入 BART 模型
BART = AutoModel.from_pretrained("facebook/bart-large")

# 列印模型架構
print(BART)

BART 模型架構

BART 模型的架構包括：

  • 分享嵌入層（Shared Embedding）：對輸入文字進行嵌入，將其轉換為向量表示。
  • 編碼器（Encoder）：負責生成輸入文字的詳細表示。編碼器由多個層組成，每層包括自注意力機制（Self-Attention）和層歸一化（Layer Normalization）。
  • 解碼器（Decoder）：負責順序生成輸出文字。解碼器也由多個層組成，每層包括自注意力機制、跨注意力機制（Cross-Attention）和層歸一化。

模型的應用

BART 模型已經在多個 NLP 任務中展現出其優異的效能，包括文字生成、翻譯、摘要等。其強大的能力使其成為了一種非常有用的工具，能夠應用於各種實際場景。

圖表翻譯：

此圖示BART模型的架構，包括分享嵌入層、編碼器和解碼器。編碼器負責生成輸入文字的詳細表示，而解碼器則負責順序生成輸出文字。

  graph LR
    A[輸入文字] -->|嵌入|> B[分享嵌入層]
    B -->|編碼|> C[編碼器]
    C -->|解碼|> D[解碼器]
    D -->|輸出|> E[輸出文字]

此模型的架構設計使其能夠有效地處理序列到序列的任務，展現出其在 NLP 領域的強大能力。

深度神經網路架構剖析

在深度學習領域中，神經網路的架構設計對於模型的效能和效率有著重要的影響。在這篇文章中，我們將深入探討一個根據 Transformer 的神經網路架構，該架構被廣泛應用於自然語言處理任務中。

Transformer 架構概覽

Transformer 架構由 Vaswani 等人於 2017 年提出，主要用於序列到序列的任務，如機器翻譯、文字摘要等。該架構的核心思想是使用自注意力機制（Self-Attention）來替代傳統的迴圈神經網路（RNN）和卷積神經網路（CNN）。

架構細節

以下是該神經網路架構的細節：

  • 嵌入層（Embedding）：輸入的文字序列首先被嵌入到一個高維空間中，以便於神經網路的處理。
  • 解碼器（Decoder）：解碼器由多個相同的層組成，每層包括兩個子層：自注意力機制和前饋神經網路（Feed Forward Network, FNN）。
    • 自注意力機制：該機制允許模型同時關注輸入序列的不同部分，以捕捉長距離依賴關係。
    • 前饋神經網路：該網路由兩個線性層和一個啟用函式（GELU）組成，用於進行特徵提取和轉換。
  • 層歸一化（LayerNorm）：在每個子層的輸出上進行層歸一化，以穩定訓練過程和提高模型的泛化能力。

實作細節

在實作該架構時，需要注意以下幾點：

  • 嵌入層的實作：使用 Embedding 類別實作嵌入層，設定輸入的詞彙數和嵌入維度。
  • 解碼器層的實作：使用 BartDecoderLayer 類別實作解碼器層，設定自注意力機制和前饋神經網路的引數。
  • 層歸一化的實作：使用 LayerNorm 類別實作層歸一化，設定歸一化的維度和 epsilon 值。

程式碼實作

以下是該架構的部分程式碼實作：

import torch
import torch.nn as nn

class BartDecoder(nn.Module):
    def __init__(self):
        super(BartDecoder, self).__init__()
        self.embed_tokens = nn.Embedding(50265, 1024, padding_idx=1)
        self.embed_positions = BartLearnedPositionalEmbedding(1026, 1024)
        self.layers = nn.ModuleList([BartDecoderLayer() for _ in range(12)])

    def forward(self, input_ids):
        # 嵌入層
        embed = self.embed_tokens(input_ids)
        # 位置編碼
        embed += self.embed_positions(embed)
        # 解碼器層
        for layer in self.layers:
            embed = layer(embed)
        return embed

class BartDecoderLayer(nn.Module):
    def __init__(self):
        super(BartDecoderLayer, self).__init__()
        self.self_attn = BartAttention()
        self.self_attn_layer_norm = nn.LayerNorm(1024, eps=1e-05)
        self.fc1 = nn.Linear(1024, 4096)
        self.fc2 = nn.Linear(4096, 1024)
        self.final_layer_norm = nn.LayerNorm(1024, eps=1e-05)

    def forward(self, embed):
        # 自注意力機制
        attn_output = self.self_attn(embed)
        # 層歸一化
        attn_output = self.self_attn_layer_norm(attn_output)
        # 前饋神經網路
        fc_output = self.fc2(torch.relu(self.fc1(attn_output)))
        # 層歸一化
        output = self.final_layer_norm(fc_output)
        return output

BART模型架構與應用

BART是一種強大的語言模型，結合了編碼器和解碼器的優點。下面是BART模型的架構概覽：

# BART模型架構
class BARTModel(nn.Module):
    def __init__(self):
        super(BARTModel, self).__init__()
        self.encoder = BAREncoder()
        self.decoder = BARDecoder()
        
    def forward(self, input_ids, attention_mask):
        encoder_outputs = self.encoder(input_ids, attention_mask)
        decoder_outputs = self.decoder(encoder_outputs)
        return decoder_outputs

BART模型的編碼器部分由多個編碼器層組成，每個層包含一個自注意力機制和一個前向神經網路。編碼器的輸出通常被送入解碼器部分。

# 編碼器架構
class BAREncoder(nn.Module):
    def __init__(self):
        super(BAREncoder, self).__init__()
        self.layers = nn.ModuleList([BAREncoderLayer() for _ in range(12)])
        
    def forward(self, input_ids, attention_mask):
        for layer in self.layers:
            input_ids = layer(input_ids, attention_mask)
        return input_ids

解碼器部分也由多個解碼器層組成，每個層包含一個自注意力機制、一個編碼器-解碼器注意力機制和一個前向神經網路。

# 解碼器架構
class BARDecoder(nn.Module):
    def __init__(self):
        super(BARDecoder, self).__init__()
        self.layers = nn.ModuleList([BARDecoderLayer() for _ in range(12)])
        
    def forward(self, encoder_outputs):
        for layer in self.layers:
            encoder_outputs = layer(encoder_outputs)
        return encoder_outputs

BART模型可以用於多種自然語言處理任務，包括文字摘要、機器翻譯和問答系統等。

文字摘要

BART模型可以用於文字摘要任務，透過fine-tuning模型來提高其效能。下面是使用BART模型進行文字摘要的示例：

from transformers import pipeline
summarizer = pipeline("summarization", model="facebook/bart-large-cnn")
sum = summarizer("""Gaga was best known in the 2010s for pop hits like
“Poker Face” and avant-garde experimentation on albums like “Artpop,” and
Bennett, a singer who mostly stuck to standards, was in his 80s when the
pair met. And yet Bennett and Gaga became fast friends and close
collaborators, which they remained until Bennett’s death at 96 on Friday.
They recorded two albums together, 2014’s “Cheek to Cheek” and 2021’s
“Love for Sale,” which both won Grammys for best traditional pop vocal

album.""", min_length=20, max_length=50)

print(sum[0]['summary_text'])

編碼器-解碼器架構

BART模型的編碼器-解碼器架構使其可以處理多種自然語言處理任務。下面是編碼器-解碼器架構的概覽：

# 編碼器-解碼器架構
class EncoderDecoderModel(nn.Module):
    def __init__(self):
        super(EncoderDecoderModel, self).__init__()
        self.encoder = BAREncoder()
        self.decoder = BARDecoder()
        
    def forward(self, input_ids, attention_mask):
        encoder_outputs = self.encoder(input_ids, attention_mask)
        decoder_outputs = self.decoder(encoder_outputs)
        return decoder_outputs

編碼器-解碼器架構可以用於多種自然語言處理任務，包括文字摘要、機器翻譯和問答系統等。

圖表翻譯：

此圖示為BART模型的架構，包括編碼器和解碼器部分。編碼器部分由多個編碼器層組成，每個層包含一個自注意力機制和一個前向神經網路。解碼器部分也由多個解碼器層組成，每個層包含一個自注意力機制、一個編碼器-解碼器注意力機制和一個前向神經網路。BART模型可以用於多種自然語言處理任務，包括文字摘要、機器翻譯和問答系統等。

  graph LR
    A[編碼器] --> B[解碼器]
    B --> C[輸出]
    A --> D[自注意力機制]
    D --> E[前向神經網路]
    E --> B
    B --> F[編碼器-解碼器注意力機制]
    F --> G[前向神經網路]
    G --> C

Transformer架構與BERT模型

Transformer架構是一種深度學習模型，廣泛應用於自然語言處理（NLP）任務。其架構包括編碼器（encoder）和解碼器（decoder）兩部分。編碼器負責處理輸入序列，生成向量表示；解碼器則根據編碼器的輸出，生成輸出序列。

然而，在某些應用中，我們只需要使用編碼器部分，例如文字分類、情感分析等任務。這種編碼器僅的模型被稱為編碼器-僅模型（encoder-only model）。玄貓建立了一種編碼器-僅模型，利用其進行文字向量表示和分類任務。

BERT（Bidirectional Encoder Representations from Transformers）是一種預訓練模型，於2018年由Google發表。它的主要特點是使用雙向編碼器（bidirectional encoder）結構，能夠更好地捕捉文字中的語義關係。BERT模型透過兩個學習目標進行預訓練：

  1. Masked Language Modeling：隨機遮蔽輸入序列中的某些token，然後嘗試預測這些遮蔽的token。
  2. Next Sentence Prediction：給定兩個句子，判斷第二個句子是否在邏輯上跟隨第一個句子。

以下是使用Hugging Face函式庫載入預訓練BERT模型的示例：

from transformers import AutoModel

BERT = AutoModel.from_pretrained("bert-base-uncased")
print(BERT)

輸出結果顯示BERT模型的架構，包括嵌入層（embeddings）、編碼器層（encoder）等。

BERT模型架構

BERT模型的架構包括以下幾個部分：

  • 嵌入層（Embeddings）：負責將輸入token轉換為向量表示。
  • 編碼器層（Encoder）：負責處理輸入序列，生成向量表示。
  • 池化層（Pooler）：負責生成固定長度的向量表示。

BERT模型的編碼器層由多個相同的層組成，每個層包括兩個子層：自注意力機制（Self-Attention）和前饋神經網路（Feed Forward Network）。

深入剖析 Transformer 模型的核心架構後，我們可以發現，從嵌入層到位置編碼，再到自注意力機制，每個模組都扮演著至關重要的角色。多維比較分析顯示，Transformer 架構相較於傳統的迴圈神經網路（RNN）在處理長序列資料時，展現出更優異的平行處理能力和捕捉長距離依賴關係的能力。然而，Transformer 模型也存在一些技術限制，例如計算資源消耗較高，對於長文字的處理效率仍有提升空間。從實務落地分析來看，針對不同規模的文字資料和應用場景，選擇合適的 Transformer 變體和引陣列態至關重要。玄貓認為，隨著硬體效能的提升和模型最佳化的持續發展，Transformer 架構將在更多領域展現其強大的應用潛力，並推動自然語言處理技術的進一步革新。接下來的 2-3 年，將是 Transformer 模型從通用走向專精，從雲端走向邊緣的關鍵視窗期。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。