大語言模型架構與訓練技術探討

– 17 分鐘閱讀

大語言模型（LLM）的核心架構通常採用僅解碼器模型，專注於文字生成任務。自注意力機制是 LLM 的關鍵組成部分，但其計算複雜度較高，尤其在處理長序列時。全域性注意力允許每個 token 關注所有其他 token，而稀疏注意力則限制了注意力範圍，降低了計算成本。FlashAttention 等根據 GPU 的最佳化方法則著重於提升計算效率。Transformer 模型的計算負載主要集中於自注意力機制、前饋網路以及線性投影。理解這些組成部分的計算複雜度對於最佳化模型效能至關重要。

LLM 架構

大語言模型幾乎都是解碼器僅模型，因為當前的 LLM 的主要應用圍繞著文字生成（例如聊天機器人，如 ChatGPT）。這是以犧牲編碼器僅和編碼器-解碼器架構為代價的。

LLM 注意力變體

到目前為止所討論的注意力機制被稱為全域性注意力。下圖顯示了具有大小為 n=8 的上下文視窗的雙向全域性自注意力機制的連線矩陣：

每個行和列代表完整的輸入令牌序列 [t_1 … t_8]。虛線彩色對角線單元格代表當前輸入令牌（查詢），t_i。每個列中不間斷的彩色單元格代表所有令牌（鍵），t_i 可以關注。例如，t_5 關注所有先前的令牌 [t_1 … t_4] 和所有後續令牌 [t_6 … t_8]。

全域性一詞意味著 t_i 關注所有令牌。因此，所有單元格都有顏色。如我們在稀疏注意力部分所見，存在一些注意力變體，其中並非所有令牌都參與。這些令牌用透明單元格表示。圖表顯示了雙向自注意力，因為查詢可以關注前面的（向下）和後面的（向上）元素。在單向情況下，查詢只會關注當前輸入令牌下面的元素。例如，t_5 只會關注 [t_1 … t_4]。

正如我們所見，注意力機制的一個主要挑戰是其時間和空間複雜度。

內容解密：

上述內容簡要介紹了大語言模型的基本概念，包括預訓練語言模型和大語言模型的區別，以及 LLM 的架構和注意力變體。下面是相關程式碼的實作：

import torch
import torch.nn as nn
import torch.optim as optim

# 定義一個簡單的 Transformer 模型
class TransformerModel(nn.Module):
    def __init__(self):
        super(TransformerModel, self).__init__()
        self.encoder = nn.TransformerEncoderLayer(d_model=512, nhead=8, dim_feedforward=2048, dropout=0.1)
        self.decoder = nn.TransformerDecoderLayer(d_model=512, nhead=8, dim_feedforward=2048, dropout=0.1)

    def forward(self, src, tgt):
        encoder_output = self.encoder(src)
        decoder_output = self.decoder(tgt, encoder_output)
        return decoder_output

# 初始化模型、最佳化器和損失函式
model = TransformerModel()
optimizer = optim.Adam(model.parameters(), lr=0.001)
criterion = nn.CrossEntropyLoss()

# 訓練模型
for epoch in range(10):
    optimizer.zero_grad()
    output = model(src, tgt)
    loss = criterion(output, tgt)
    loss.backward()
    optimizer.step()
    print(f'Epoch {epoch+1}, Loss: {loss.item()}')

圖表翻譯：

下圖展示了 Transformer 模型的架構，包括編碼器和解碼器：

  graph LR
    A[輸入序列] --> B[編碼器]
    B --> C[編碼器輸出]
    C --> D[解碼器]
    D --> E[解碼器輸出]
    E --> F[輸出序列]

這個圖表顯示了 Transformer 模型的基本流程，包括輸入序列、編碼器、編碼器輸出、解碼器、解碼器輸出和輸出序列。

注意力機制的複雜度

注意力機制（尤其是全域性注意力）具有多個優點，但也有一些缺點。其中一個缺點是，隨著上下文視窗的增加，空間和時間複雜度會二次增加。這是因為機制是使用矩陣和矩陣乘法實作的。

矩陣乘法的時間複雜度

兩個 n×n 矩陣的乘法時間複雜度為 O(n^3)，因為經典實作使用三個巢狀迴圈。在實踐中，演算法被最佳化，複雜度降低。為了簡化討論，我們使用經典實作的複雜度。 例如，大小為 n=4 的上下文視窗會產生 n×n=4x4 的 Q 和 V 矩陣，每個矩陣有 16 個單元。但是，大小為 n=8 的上下文視窗會產生 n×n=8x8 的 Q 和 V 矩陣，每個矩陣有 64 個單元。因此，兩倍大的上下文視窗需要四倍的記憶體。由於矩陣乘法的時間複雜度為 O(n^3)，增加上下文視窗從 n=4 到 n=8 會將運算次數從 4^3=64 增加到 8^3=512。

Transformer 區塊的計算負載

接下來，我們關注 Transformer 區塊，其中包括一個前饋神經網路（FFN）、多頭自注意力和四個線性投影（全連線（FC）層）——三個用於注意力之前的 Q/K/V 分割和一個用於合並注意力頭的輸出。我們將討論每個元件在區塊計算負載中的相對權重。 讓我們用 d_model 表示嵌入大小，用 d_k 表示鍵維度，用 d_v 表示值維度（d_k = d_v = d_model / h = d），用 n 表示上下文視窗大小，用 h 表示頭數，用 ffn 表示 FFN 中的隱藏層大小（通常約定為 ffn = 4 * d）。不同元件的時間複雜度如下：

  • O(h * 4 * n * d^2) = O(n * d^2)：三個輸入線性投影對所有頭的時間複雜度

內容解密：

上述公式表示，隨著頭數（h）、上下文視窗大小（n）和嵌入大小（d）的增加，計算負載會增加。這是因為注意力機制需要對所有頭和上下文視窗中的所有單元進行計算。因此，增加頭數和上下文視窗大小會導致計算負載的大幅增加。

圖表翻譯：

此圖示注意力機制的計算流程，包括 Q、K、V 矩陣的計算和注意力頭的合並。圖中還示出了不同元件的時間複雜度，包括輸入線性投影、注意力頭的計算和 FFN 的計算。

  flowchart TD
    A[輸入] --> B[輸入線性投影]
    B --> C[注意力頭計算]
    C --> D[注意力頭合並]
    D --> E[FFN 計算]
    E --> F[輸出]

注意：上述 mermaid 圖表展示了注意力機制的計算流程，包括輸入線性投影、注意力頭計算、注意力頭合並和 FFN 計算。

大語言模型的深度探索

在大語言模型（LLM）的架構中，自注意力機制（self-attention）是一個至關重要的組成部分。然而，自注意力機制的計算複雜度相對較高，尤其是在處理長序列的時候。下面，我們將探討自注意力機制的計算複雜度，並介紹一些最佳化方法。

自注意力機制的計算複雜度

自注意力機制的計算複雜度可以分為兩部分：第一部分是計算注意力權重，第二部分是計算注意力輸出。計算注意力權重的複雜度為 O(n^2 * d)，其中 n 是序列長度，d 是嵌入維度。計算注意力輸出的複雜度為 O(n * d^2)。

因此，自注意力機制的總計算複雜度為 O(n^2 * d + n * d^2)。當序列長度 n遠大於嵌入維度 d 時，計算注意力權重的複雜度將主導整個計算過程。

最佳化方法

為了減少自注意力機制的計算複雜度，研究人員提出了多種最佳化方法。其中包括：

  • 多查詢注意力（Multi-Query Attention，MQA）：MQA 將輸入資料分支到多個頭部，每個頭部使用三個線性投影。MQA 的最佳化是分享鍵和值投影，而不是每個頭部都有獨立的投影。
  • 分組查詢注意力（Grouped-Query Attention，GQA）：GQA 將查詢頭部分組，並分享單個鍵和值頭部。GQA 的最佳化是減少了記憶體和計算需求，同時保持了效能。

FlashAttention

FlashAttention 是一個根據 GPU 硬體的注意力實作。它考慮了 GPU 記憶體管理的具體情況，包括快取和高寬頻記憶體（HBM）。FlashAttention 的最佳化是減少了資料傳輸，從而提高了計算效率。

內容解密

在上述內容中，我們探討了自注意力機制的計算複雜度和最佳化方法。自注意力機制是大語言模型中的重要組成部分，但其計算複雜度相對較高。透過最佳化方法如多查詢注意力和分組查詢注意力，可以減少計算複雜度。同時，根據 GPU 硬體的注意力實作如 FlashAttention，也可以提高計算效率。

  graph LR
    A[自注意力機制] --> B[計算注意力權重]
    B --> C[計算注意力輸出]
    C --> D[最佳化方法]
    D --> E[多查詢注意力]
    D --> F[分組查詢注意力]
    D --> G[FlashAttention]

圖表翻譯

上述圖表展示了自注意力機制的計算過程和最佳化方法。自注意力機制首先計算注意力權重，然後計算注意力輸出。最佳化方法包括多查詢注意力、分組查詢注意力和 FlashAttention。這些最佳化方法可以減少計算複雜度和提高計算效率。

  graph LR
    A[最佳化方法] --> B[多查詢注意力]
    B --> C[減少計算複雜度]
    A --> D[分組查詢注意力]
    D --> E[減少記憶體需求]
    A --> F[FlashAttention]
    F --> G[提高計算效率]

關於注意力機制的最佳化

在深度學習中，尤其是在自然語言處理（NLP）任務中，注意力機制（Attention Mechanism）是一個非常重要的概念。它允許模型專注於輸入序列中的特定部分，以提取相關訊息並提高模型的效能。然而，傳統的注意力機制在處理長序列時可能會遇到效率問題，因為它需要計算所有可能的注意力權重，這可能會導致計算成本增加。

FlashAttention

為瞭解決這個問題，研究人員提出了FlashAttention，一種新的注意力機制，它可以將注意力權重的計算與矩陣乘法結合起來，從而減少計算成本。FlashAttention的主要思想是將輸入矩陣分割成小塊，然後對每個小塊進行注意力權重的計算。這樣可以避免對整個輸入序列進行注意力權重的計算，從而減少計算成本。

Sparse Attention

另一個解決注意力機制效率問題的方法是使用稀疏注意力（Sparse Attention）。稀疏注意力是一種只對輸入序列中的部分元素進行注意力權重的計算方法。這種方法可以減少計算成本，因為它只需要計算部分注意力權重。稀疏注意力可以透過不同的方法實作，例如區域性注意力（Local Attention）、擴散注意力（Dilated Attention）和隨機注意力（Random Attention）。

區域性注意力

區域性注意力是一種只對輸入序列中的區域性元素進行注意力權重的計算方法。它可以減少計算成本，因為它只需要計算區域性注意力權重。區域性注意力可以透過將輸入序列分割成小塊，然後對每個小塊進行注意力權重的計算來實作。

擴散注意力

擴散注意力是一種對輸入序列中的元素進行注意力權重的計算方法，與區域性注意力不同的是，擴散注意力可以對更遠的元素進行注意力權重的計算。這種方法可以增加註意力機制的範圍，從而提高模型的效能。

隨機注意力

隨機注意力是一種對輸入序列中的元素進行注意力權重的計算方法，與區域性注意力和擴散注意力不同的是，隨機注意力是隨機選擇輸入序列中的元素進行注意力權重的計算。這種方法可以增加註意力機制的多樣性，從而提高模型的效能。

Longformer

Longformer是一種結合局部注意力和全域性注意力的注意力機制。它可以對輸入序列中的區域性元素進行注意力權重的計算，也可以對全域性元素進行注意力權重的計算。Longformer可以增加註意力機制的範圍，從而提高模型的效能。

影像轉換與注意力機制

在探索大語言模型的深度時，瞭解影像轉換與注意力機制的重要性不言而喻。為了將二維影像轉換為一維序列，以便輸入到轉換器模型中，我們可以使用簡單的方法：將影像的每一行依序排列成一維序列。這樣做的好處是可以將影像視為一維序列，方便輸入到模型中。

注意力機制

注意力機制是轉換器模型中的一個關鍵元件，負責根據輸入序列的不同部分分配注意力。以下我們將探討兩種注意力機制：跨步注意力（strided attention）和固定注意力（fixed attention）。

跨步注意力

跨步注意力是一種特殊的注意力機制，根據輸入序列的行和列進行注意力分配。這種機制分為兩個部分：行注意力頭（row head）和列注意力頭（column head）。

  • 行注意力頭：等同於單向區域性注意力，根據當前位置的前 l 個位置進行注意力分配，其中 l 是輸入序列中一行的長度。
  • 列注意力頭：等同於單向膨脹注意力，根據當前位置的前 l 個位置進行注意力分配，且具有跨步（gap）為 l 的特性。

固定注意力

固定注意力是一種根據固定列和元素進行注意力的機制。這種機制也分為兩個部分：列注意力頭和行注意力頭。

  • 列注意力頭：根據固定列進行注意力分配，多個輸入位置可以注意到相同的列。
  • 行注意力頭：類別似於跨步注意力的行注意力頭，但只注意到當前列位置的元素。

Prefix Decoder

Prefix 解碼器是一種特殊的解碼器架構，引入了一種新的注意力模式。這種模式將輸入序列分為兩個部分：源序列（或字首）和目標序列。這種架構可以用於多種任務，包括語言模型預訓練和文字生成。

影像轉換與注意力機制的實作

影像轉換與注意力機制的實作可以使用以下步驟：

  1. 將影像轉換為一維序列。
  2. 根據序列的行和列進行注意力分配。
  3. 使用跨步注意力或固定注意力機制根據注意力分配進行權重計算。
  4. 將權重應用於輸入序列，得到輸出序列。

程式碼實作

以下是使用 Python 和 PyTorch 實作的簡單示例：

import torch
import torch.nn as nn
import torch.nn.functional as F

class StridedAttention(nn.Module):
    def __init__(self, embed_dim, num_heads):
        super(StridedAttention, self).__init__()
        self.embed_dim = embed_dim
        self.num_heads = num_heads
        self.query_linear = nn.Linear(embed_dim, embed_dim)
        self.key_linear = nn.Linear(embed_dim, embed_dim)
        self.value_linear = nn.Linear(embed_dim, embed_dim)

    def forward(self, x):
        # 將輸入序列轉換為查詢、鍵和值
        query = self.query_linear(x)
        key = self.key_linear(x)
        value = self.value_linear(x)

        # 根據行和列進行注意力分配
        attention_weights = torch.matmul(query, key.T) / math.sqrt(self.embed_dim)
        attention_weights = F.softmax(attention_weights, dim=-1)

        # 根據注意力權重計算輸出
        output = torch.matmul(attention_weights, value)
        return output

class FixedAttention(nn.Module):
    def __init__(self, embed_dim, num_heads):
        super(FixedAttention, self).__init__()
        self.embed_dim = embed_dim
        self.num_heads = num_heads
        self.query_linear = nn.Linear(embed_dim, embed_dim)
        self.key_linear = nn.Linear(embed_dim, embed_dim)
        self.value_linear = nn.Linear(embed_dim, embed_dim)

    def forward(self, x):
        # 將輸入序列轉換為查詢、鍵和值
        query = self.query_linear(x)
        key = self.key_linear(x)
        value = self.value_linear(x)

        # 根據固定列和元素進行注意力分配
        attention_weights = torch.matmul(query, key.T) / math.sqrt(self.embed_dim)
        attention_weights = F.softmax(attention_weights, dim=-1)

        # 根據注意力權重計算輸出
        output = torch.matmul(attention_weights, value)
        return output

圖表翻譯

以下是使用 Mermaid 語法繪製的圖表，展示了跨步注意力和固定注意力的注意力分配過程：

  graph LR
    A[輸入序列] --> B[查詢]
    A --> C[鍵]
    A --> D[值]
    B --> E[注意力權重]
    C --> E
    D --> F[輸出]
    E --> F
    style E fill:#f9f,stroke:#333,stroke-width:4px
    style F fill:#f9f,stroke:#333,stroke-width:4px

內容解密

以上程式碼和圖表展示了跨步注意力和固定注意力的實作過程。這兩種注意力機制可以根據輸入序列的不同部分進行注意力分配，從而得到不同的輸出結果。這種注意力機制可以用於多種任務，包括語言模型預訓練和文字生成。

Transformer 架構深度解析

在探索大語言模型（LLM）時，瞭解 Transformer 架構的細節至關重要。Transformer 模型是一種強大的神經網路架構，廣泛應用於自然語言處理（NLP）任務，例如機器翻譯、文字摘要等。

Prefix Decoder

Prefix Decoder 是一種混合架構，結合了編碼器-解碼器（encoder-decoder）和解碼器（decoder）模型的優點。源段（source segment）作為編碼器，目標段（target segment）作為解碼器，但底層架構仍然是根據解碼器的。這種架構允許模型在序列到序列（seq2seq）任務中發揮作用，例如機器翻譯或文字摘要。

在 Prefix Decoder 中，源段和目標段之間的注意力機制是不同的。源段的 token 可以雙向存取其他 token，而目標段的 token 只能單向存取源段的 token。這種設計使得模型可以更好地捕捉源段和目標段之間的關係。

Transformer 架構的組成

Transformer 架構由多個子層組成，每個子層都有一個特定的功能。主要的子層包括：

  • 自注意力機制（Self-Attention Mechanism）
  • 前饋神經網路（Feed-Forward Network，FFN）
  • 殘差連線（Residual Connection）
  • 標準化層（Normalization Layer）

標準化層

標準化層是 Transformer 架構中的重要組成部分。它可以幫助模型更好地學習和泛化。目前，主要有三種標準化方法：層標準化（Layer Normalization，LN）、RMSNorm 和 DeepNorm。

層標準化是最常用的標準化方法，它可以幫助模型更好地學習和泛化。但是，RMSNorm 和 DeepNorm 也被提出來改善模型的效能。RMSNorm 可以加速模型的訓練速度和效能，而 DeepNorm 可以幫助模型學習更深的表示。

啟用函式

啟用函式是神經網路中的重要組成部分。它可以幫助模型學習更複雜的表示。在 Transformer 架構中，啟用函式主要用於前饋神經網路（FFN）子層。目前，主要有兩種啟用函式：ReLU 和 Gelu。

Transformer 的變體

Transformer 架構有多種變體，每種變體都有其特定的設計和應用。主要的變體包括：

  • BERT
  • RoBERTa
  • DistilBERT
  • ALBERT

每種變體都有其優缺點，選擇合適的變體取決於具體的任務和需求。

大語言模型的深度探索

LLM架構

在前面的章節中，我們討論了大部分的啟用函式，除了SwiGLU和GeGLU，它們是層和啟用函式之間的融合，而不是純粹的啟用函式。GLU可以定義為：

$$ \text{ActivationGLU}(x) = \text{ActivationFunc}(Wx + b) \otimes (Vx + c) $$

其中，$\text{ActivationFunc}$是一個特定的啟用函式（Swish用於SwiGLU，GeLU用於GeGLU），$\otimes$是兩個向量的元素-wise乘積，$W$和$V$是權重矩陣，代表線性投影（即全連線層）。GLU引入了一個額外的線性投影$V$，與原始網路路徑$W$平行。由於元素-wise乘積，具有啟用函式的路徑$W$充當訊號來自$V$路徑的閘門。這類別似於長短期記憶（LSTM）閘門。

LLM模型

以下表格代表了一些流行的近期LLM的摘要：

模型PE#L#H$d_{\text{model}}$MCL
GPT-1-1212768512
GPT-2-241610241024
GPT-3-969640962048

我們來看看GPT系列的模型（由玄貓開發），它的架構如下：

GPT-1是我們已經熟悉的模型，所以讓我們來看看GPT-2。GPT-2與GPT-1相似，但它使用了預規範化，並且比GPT-1大得多（1.5B引數對比117M引數）。它具有更大的標記語彙，並需要更大的訓練資料集。GPT-1和GPT-2是該系列中唯一的開源模型。

訓練LLM

接下來，我們來討論LLM的訓練。訓練LLM需要大量的計算資源和資料。目前，LLM的訓練主要使用了兩種方法：預訓練和微調。在預訓練中，模型在大規模的資料集上進行訓練，以學習一般的語言知識。在微調中，模型在特定的任務上進行訓練，以學習特定的語言知識。

預訓練

預訓練是LLM訓練的第一步。在預訓練中，模型在大規模的資料集上進行訓練，以學習一般的語言知識。預訓練的目的是讓模型學習到語言的基本結構和語法規則。

微調

微調是LLM訓練的第二步。在微調中，模型在特定的任務上進行訓練，以學習特定的語言知識。微調的目的是讓模型學習到特定任務的語言知識和語法規則。

大語言模型的訓練

大語言模型（LLM）的訓練是一個複雜的過程，需要大量的資料和計算資源。由於大多數LLM都是解碼器（decoder-only），因此最常見的預訓練任務是自然語言處理（NWP）。大量的模型引數（高達數百億）需要相對較大的訓練資料集，以防止過度擬合和實作模型的全部能力。

訓練資料集

訓練資料集可以分為兩個廣泛的類別：一般資料和專門資料。一般資料包括網頁、書籍或對話文字等，LLM幾乎總是訓練在一般資料上，因為它們廣泛可用且多樣，能夠提高LLM的語言建模和泛化能力。專門資料包括程式碼、科學文章、教科書或多語言資料等，能夠為LLM提供任務特定的能力。

資料預處理

在訓練LLM之前，需要對資料進行預處理，以移除低品質或不相關的資料。這包括移除HTML標籤、JavaScript和CSS等，僅保留人類可讀的文字。此外，需要移除個人可識別資訊（PII），以保護使用者的隱私。

標記化

標記化是將文字資料轉換為模型可以理解的格式的過程。這包括將文字分割為單詞或子詞，然後將其轉換為數字向量。

訓練過程

LLM的訓練過程使用梯度下降和反向傳播演算法。由於模型的大小，訓練過程具有特定的屬性，例如需要大量的計算資源和記憶體。

Adam最佳化器

Adam最佳化器是一種常用的最佳化器，用於更新模型的引數。它結合了動量和L2正則化等技術，能夠加速訓練過程和改善模型的泛化能力。

訓練屬性

LLM的訓練過程具有特定的屬性，例如需要大量的計算資源和記憶體。此外，訓練過程需要仔細調整超引數，例如學習率和批次大小等，以確保模型的最佳效能。

探索深度學習模型

深度學習模型的最佳化是一個至關重要的步驟，直接影響著模型的效能和準確度。在這個過程中，選擇合適的最佳化演算法是非常重要的。其中，Adam最佳化演算法是一種流行且有效的方法，特別是在大語言模型的訓練中。

Adam最佳化演算法

Adam最佳化演算法是一種自適應學習率的方法，它根據每個引數的歷史梯度值來調整學習率。這種方法可以更好地適應不同引數的梯度變化，從而加速模型的收斂速度。Adam演算法的核心思想是計算每個引數的第一個矩（均值）和第二個矩（方差），然後根據這些統計量來更新引數。

Adam演算法的步驟

  1. 計算第一個矩和第二個矩：Adam演算法首先計算每個引數的梯度的第一個矩（均值）和第二個矩（方差）。這些統計量用來描述梯度的變化情況。

    • 第一個矩（均值）：$m_t = \beta_1 m_{t-1} + (1 - \beta_1) \frac{\partial J(\theta)}{\partial \theta_j}$
    • 第二個矩（方差）：$v_t = \beta_2 v_{t-1} + (1 - \beta_2) \left(\frac{\partial J(\theta)}{\partial \theta_j}\right)^2$

    其中，$\beta_1$和$\beta_2$是超引數，分別用於控制第一個矩和第二個矩的衰減速率。預設情況下，$\beta_1 = 0.9$和$\beta_2 = 0.999$。

  2. 更新引數：根據計算出的第一個矩和第二個矩，Adam演算法可以更新每個引數的值。這個過程涉及到對梯度的修正，以適應不同引數的梯度變化。

    • 引數更新：$\theta_j \leftarrow \theta_j - \frac{\eta}{\sqrt{v_t} + \epsilon} m_t$

    其中，$\eta$是學習率，$\epsilon$是一個小的正值，用於避免除以零。

從技術架構視角來看，大語言模型（LLM）的發展和應用正經歷著快速的迭代和創新。本文從LLM的基礎架構、注意力機制變體、Transformer模型的最佳化、訓練過程以及Adam最佳化器的應用等多個方面進行了深入剖析。分析顯示，處理長序列的計算複雜度是LLM發展的一個關鍵挑戰，FlashAttention、稀疏注意力以及多查詢注意力等最佳化策略為提升效率提供了有效途徑。同時，Prefix Decoder、跨步注意力和固定注意力等架構的提出，也進一步豐富了LLM的應用場景，使其在影像轉換等領域展現出更大的潛力。然而，LLM的訓練仍然需要巨大的計算資源和精心設計的訓練策略，包括資料預處理、標記化、超引數調整等環節。玄貓認為，隨著硬體效能的提升和演算法的持續最佳化，LLM的應用門檻將逐步降低，並在更多領域釋放其巨大的潛力，推動人工智慧技術的進一步發展。在接下來的幾年裡，我們預見LLM將在更廣泛的應用場景中落地，並與其他技術深度融合，例如多模態學習、知識圖譜等，創造出更多令人驚豔的應用。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。