在自然語言處理等深度學習任務中，批次處理能有效提升模型訓練效率。批次處理的核心概念是將不定長的輸入序列填充至相同長度，以便模型能同時處理多個樣本。此文將探討如何設計自定義批次處理函式，包含如何處理填充、目標 Token ID 生成，以及確保資料格式符合模型輸入需求。透過 Python 程式碼範例，我們將示範如何將原始資料轉換成適合模型訓練的 Tensor 格式，並詳細說明每個步驟的技術細節，例如如何取得批次最大長度、如何使用填充 Token，以及如何建立目標 Token ID 以供模型學習序列關係。這些技術對於提升模型訓練效率至關重要。
自定義批次處理函式的實作
在深度學習中，尤其是在自然語言處理（NLP）任務中，批次處理是一個非常重要的步驟。批次處理允許模型一次處理多個輸入樣本，這不僅可以提高模型的訓練效率，也可以幫助模型學習到更好的表示。
下面是一個自定義批次處理函式的實作，該函式可以將輸入的序列填充到相同的長度，以便於模型的批次處理。
import torch
def custom_collate_draft_1(batch, pad_token_id=50256, device='cpu'):
"""
自定義批次處理函式，將輸入的序列填充到相同的長度。
Args:
batch (list): 輸入的序列列表。
pad_token_id (int): 填充token的ID，預設為50256。
device (str): 裝置，預設為'cpu'。
Returns:
inputs_tensor (tensor): 填充後的批次輸入tensor。
"""
# 取得批次中序列的最大長度
batch_max_length = max(len(item) for item in batch)
inputs_lst = []
for item in batch:
# 對每個序列進行填充
new_item = item + [pad_token_id] * (batch_max_length - len(item))
inputs = torch.tensor(new_item[:-1]) # 去掉最後一個token
inputs_lst.append(inputs)
# 將填充後的序列堆積疊成一個tensor
inputs_tensor = torch.stack(inputs_lst).to(device)
return inputs_tensor
# 測試自定義批次處理函式
inputs_1 = [0, 1, 2, 3, 4]
inputs_2 = [5, 6]
inputs_3 = [7, 8, 9]
batch = (inputs_1, inputs_2, inputs_3)
print(custom_collate_draft_1(batch))
輸出結果：
tensor([[ 0, 1, 2, 3, 4],
[ 5, 6, 50256, 50256, 50256],
[ 7, 8, 9, 50256, 50256]])
這個輸出結果表明，所有輸入序列都已經被填充到相同的長度，即最長序列的長度。在這個例子中，最長序列是inputs_1，其長度為5。其他序列inputs_2和inputs_3都被填充到長度為5。填充使用的token ID是50256。
自然語言處理中的批次處理
在自然語言處理任務中，批次處理是一個至關重要的步驟。批次處理的主要目的是將輸入資料轉換為模型可以接受的格式，以便進行訓練或預測。以下是批次處理的詳細步驟：
批次處理步驟
- 尋找最長序列：在批次中找到最長的序列，以確定需要的填充長度。
- 填充和準備輸入：根據最長序列的長度，填充較短的序列，以確保所有序列的長度一致。
- 移除額外填充：移除之前新增的額外填充token，以避免對模型產生不良影響。
- 轉換為tensor：將輸入列表轉換為tensor，並將其轉移到目標裝置上。
目標token ID的重要性
在批次處理中，目標token ID是非常重要的。它們代表了模型需要生成的token，並在訓練過程中用於計算損失和更新模型權重。為了獲得目標token ID，我們需要修改自定義的批次處理函式，以傳回目標token ID和輸入token ID。
目標token ID的建立
目標token ID的建立過程與預訓練語言模型類別似。它們與輸入token ID匹配，但向右偏移了一個位置。這樣的設定使得語言模型能夠學習如何預測序列中的下一個token。
實作批次處理
以下是實作批次處理的步驟：
import torch
def custom_collate_fn(batch):
# 尋找最長序列
max_len = max(len(seq) for seq in batch)
# 填充和準備輸入
padded_batch = []
for seq in batch:
padded_seq = seq + [0] * (max_len - len(seq))
padded_batch.append(padded_seq)
# 移除額外填充
padded_batch = [seq[:-1] for seq in padded_batch]
# 轉換為tensor
tensor_batch = torch.tensor(padded_batch)
# 建立目標token ID
target_token_ids = []
for seq in batch:
target_seq = seq[1:] + [0]
target_token_ids.append(target_seq)
# 轉換目標token ID為tensor
target_tensor = torch.tensor(target_token_ids)
return tensor_batch, target_tensor
格式化資料
最後，需要格式化資料以便於模型接受。這包括將輸入資料轉換為tensor，並將其轉移到目標裝置上。
# 格式化資料
input_ids = tensor_batch.to(device)
target_ids = target_tensor.to(device)
透過以上步驟，可以完成批次處理和目標token ID的建立，為模型的訓練和預測做好準備。
資料預處理步驟
在進行深度學習模型的訓練之前，資料預處理是一個非常重要的步驟。以下是根據給定的指令，對資料進行預處理的步驟：
2.2) 資料分詞
首先，我們需要對給定的資料進行分詞。這個過程涉及將原始資料拆分成更小的單位，例如單詞或子詞，以便模型能夠更好地理解和處理資料。
2.5) 替換填充符號
接下來，我們需要替換填充符號。填充符號是用於填充資料序列中空白位置的特殊符號。透過替換這些符號，我們可以確保模型不會將填充符號視為有意義的資料。
2.3) 調整資料長度
然後，我們需要調整資料序列的長度，以便所有序列都具有相同的長度。這通常是透過在序列末尾新增填充符號來實作的。這樣做可以確保模型能夠處理不同長度的資料序列。
2.4) 建立目標token ID
最後，我們需要為模型建立目標token ID。這涉及將資料序列轉換為模型可以理解的格式，例如數字ID。這樣做可以使模型能夠學習資料中的模式和關係。
根據給定的指令，原始資料序列如下：
[21106, 318, 281, 12064, 326, 8477, 257, 4876, 13,...]
經過預處理後，資料序列可能如下所示：
[21106, 318, 281, 12064, 326, 8477, 257, 4876, 13,..., 50256, 50256, 50256]
其中，50256是填充符號，用於填充序列末尾的空白位置。這樣做可以確保所有序列都具有相同的長度，模型能夠更好地處理資料。
指令-回應範本
指令
將輸入格式化為指令-回應範本，然後將指令-回應條目轉換為令牌 ID。新增末端令牌 (50256) 以便將資料樣本填充至相同長度。建立一個目標令牌 ID 列表供模型學習（這些是透過玄貓偏移的輸入，加上一個額外的填充令牌）。用玄貓替換某些填充令牌。
回應
根據您的指示，我們需要對給定的資料進行格式化和轉換。首先，我們需要確保所有的輸入都被轉換成令牌 ID 的形式，以便於模型的處理。然後，我們會在每個序列的末端新增特定的末端令牌 (50256)，以確保所有的資料樣本都具有相同的長度，這對於模型的訓練是必要的。
接下來，我們需要建立一個目標令牌 ID 的列表，這些目標令牌是透過將輸入序列偏移一定位置（由玄貓決定）後得到的，並在末端新增一個額外的填充令牌，以便模型能夠學習到序列之間的關係。
最後，根據您的要求，我們需要用玄貓替換序列中某些填充令牌的位置，這一步驟可能涉及到對序列進行特定的修改，以適應模型的需求或特定的任務要求。
以下是一個簡單的示例，展示瞭如何根據您的指示進行操作：
原始資料：
- [318, 281, 12064, 326, 8477, 257, 4876, 13,…, 50256, 50256, 50256]
- [21106, 318, 281, 12064, 326, 8477, 257, 4876, 13,…, 50256, 50256, 50256]
- [318, 281, 12064, 326, 8477, 257, 4876, 13,…, 50256, -100, -100, -100]
新增末端令牌：
- 將每個序列末端新增特定的末端令牌 (50256)，以確保所有序列長度相同。
建立目標令牌 ID 列表：
- 對於每個輸入序列，建立一個新的序列，這個新序列是透過將原來的輸入序列偏移一定位置（由玄貓決定）後得到的，並在末端新增一個額外的填充令牌。
替換填充令牌：
- 用玄貓替換某些填充令牌的位置，這可能需要根據特定的規則或模型需求進行操作。
這個過程涉及到對資料進行一系列的轉換和修改，以便於模型能夠有效地學習和處理這些資料。每一步驟都需要根據特定的需求和任務目標進行設計和實施。
資料批次組織
在訓練大語言模型（LLM）時，將資料組織成批次是一個重要的步驟。這個過程涉及將輸入資料轉換成模型可以理解的格式，並且確保每個批次的資料都能夠被模型正確地處理。
自定義批次合併函式
以下是一個自定義的批次合併函式，該函式可以根據輸入的token ID生成目標token ID：
def 自定義批次合併(
批次資料,
填充token_id=50256,
裝置="cpu"
):
批次最大長度 = max(len(專案) + 1 for 專案 in 批次資料)
輸入列表, 目標列表 = [], []
for 專案 in 批次資料:
新專案 = 專案[1:] + [填充token_id]
輸入列表.append(專案)
目標列表.append(新專案)
return 輸入列表, 目標列表
資料對齊
在上述函式中，輸入資料和目標資料都是透過對齊來生成的。對齊的過程涉及將輸入序列的第一個token省略，並在序列末尾新增一個結束符號（填充token）。這樣可以確保輸入資料和目標資料之間的對齊關係。
範例
假設我們有兩個輸入序列：
輸入1：[0, 1, 2, 3, 4] 輸入2：[5, 6, 50256, 50256, 50256]
經過對齊後，目標序列將分別為：
目標1：[1, 2, 3, 4, 50256] 目標2：[6, 50256, 50256, 50256, 50256]
在這個例子中，目標序列的token ID與輸入序列的token ID相似，但偏移了一個位置。同時，目標序列也不包含輸入序列的第一個token ID，並在末尾增加了結束符號（填充token）。
圖表翻譯：
flowchart TD
A[輸入序列] --> B[對齊]
B --> C[目標序列]
C --> D[新增結束符號]
D --> E[傳回目標序列]
上述流程圖描述了輸入序列如何被轉換成目標序列的過程。首先，輸入序列被對齊，然後在序列末尾新增結束符號，最後傳回目標序列。這個過程確保了輸入資料和目標資料之間的對齊關係，從而可以被模型正確地處理。
自定義資料整理函式的修改
在上一節中，我們瞭解瞭如何使用自定義的資料整理函式來處理批次資料。在這一節中，我們將進一步修改這個函式，以滿足特定任務的需求。
首先，我們需要在目標序列中新增一個結尾標記（end-of-text token），這個標記用於表示生成的回應已經完成。為了實作這一點，我們將在目標序列的末尾新增一個特殊的標記，這個標記的ID為50256。
padded = (
new_item + [pad_token_id] * (batch_max_length - len(new_item))
)
接下來，我們需要將填充的序列轉換為Tensor，並分別儲存輸入和目標序列。
inputs = torch.tensor(padded[:-1])
targets = torch.tensor(padded[1:])
然後，我們將這些Tensor新增到列表中，以便之後可以堆積疊起來。
inputs_lst.append(inputs)
targets_lst.append(targets)
最後，我們堆積疊起來所有的輸入和目標Tensor，並傳回它們。
inputs_tensor = torch.stack(inputs_lst).to(device)
targets_tensor = torch.stack(targets_lst).to(device)
return inputs_tensor, targets_tensor
內容解密：
在上面的程式碼中，我們首先對輸入序列進行填充，以確保所有序列的長度相同。然後，我們將填充的序列轉換為Tensor，並分別儲存輸入和目標序列。最後，我們堆積疊起來所有的輸入和目標Tensor，並傳回它們。
這個過程可以用以下的Mermaid流程圖來表示：
flowchart TD
A[輸入序列] --> B[填充序列]
B --> C[轉換為Tensor]
C --> D[分別儲存輸入和目標序列]
D --> E[堆積疊起來所有的輸入和目標Tensor]
E --> F[傳回輸入和目標Tensor]
圖表翻譯：
在上面的流程圖中，我們可以看到自定義資料整理函式的修改過程。首先，我們對輸入序列進行填充，以確保所有序列的長度相同。然後，我們將填充的序列轉換為Tensor，並分別儲存輸入和目標序列。最後，我們堆積疊起來所有的輸入和目標Tensor，並傳回它們。
這個過程可以用於特定任務的需求，例如生成文字的任務。透過新增結尾標記和填充序列，我們可以讓模型學習到何時生成結尾標記，從而得出完整的生成回應。
資料批次處理的重要性
在深度學習模型的訓練過程中，資料批次處理是一個至關重要的步驟。這個步驟涉及將大規模的資料集分割成小規模的批次，以便模型能夠高效地進行訓練。以下是資料批次處理的五個子步驟：
1. 資料格式化
首先，我們需要使用提示範本來格式化資料。這個步驟確保資料以一致的格式呈現，方便後續的處理。
2. 資料分詞
接下來，我們需要對格式化的資料進行分詞。這個步驟將資料轉換成模型可以理解的格式，例如將文字轉換成數字向量。
3. 目標序列建立
在建立目標序列的過程中，我們需要對輸入序列進行處理，以生成相應的目標序列。這個步驟涉及將輸入序列中的最後一個token截斷，並將目標序列向右偏移一個位置。
內容解密：
def truncate_input(input_sequence):
# 將輸入序列中的最後一個token截斷
truncated_input = input_sequence[:-1]
return truncated_input
def shift_target(target_sequence):
# 將目標序列向右偏移一個位置
shifted_target = target_sequence[1:]
return shifted_target
4. 資料填充
在資料批次處理的過程中，我們需要對資料進行填充，以確保所有批次的資料長度一致。這個步驟涉及將填充token新增到資料序列中，以達到指定的長度。
5. 批次建立
最後，我們需要將填充好的資料分割成批次，以便模型能夠進行訓練。這個步驟涉及將資料分割成小規模的批次，並將每個批次輸入到模型中進行訓練。
圖表翻譯：
flowchart TD
A[資料格式化] --> B[資料分詞]
B --> C[目標序列建立]
C --> D[資料填充]
D --> E[批次建立]
此圖表展示了資料批次處理的五個子步驟，從資料格式化到批次建立。每個步驟都對應到一個特定的功能，例如資料分詞、目標序列建立等。透過這個圖表，我們可以清晰地看到資料批次處理的整個流程。
從技術架構視角來看，自定義批次處理函式的設計與實作是深度學習模型訓練流程中的關鍵環節。本文深入探討了批次處理的各個步驟，包含資料格式化、分詞、目標序列建立、填充以及最終的批次建立。其中，目標序列的建立，透過截斷輸入序列尾端和將目標序列右移一位的操作，巧妙地體現了序列預測模型的訓練機制。同時，填充機制確保了不同長度序列在批次處理中的相容性，有效提升了模型訓練效率。然而，填充token的過度使用可能稀釋有效資訊，影響模型的學習效果。針對此限制，未來可探索更精細的填充策略，例如根據注意力機制的自適應填充，以降低填充token對模型效能的影響。玄貓認為，掌握自定義批次處理函式的設計技巧，能有效提升模型訓練效率和效能，是深度學習開發者必備的核心技能。對於追求極致效能的模型訓練，建議深入研究不同填充策略的優劣，並根據實際應用場景進行調整，以最大化模型的學習潛力。
