多語言 NLP 的進階技巧

在實際應用中，我發現以下幾點技巧對提升多語言模型的效果特別有幫助：

低資源語言的處理策略

對於訓練資料有限的語言，我建議採用以下策略：

1. 利用語言相似性：優先從相似語言族的高資源語言遷移學習。例如，為捷克語建模時，可以利用波蘭語或斯洛伐克語的資源。

2. 資料增強技術：使用回譯(back-translation)、詞彙替換等技術擴充低資源語言的訓練資料。

3. 介面卡方法：考慮使用如MAD-X這樣的介面卡框架，它專為低資源場景下的多工跨語言遷移而設計。

# 使用介面卡方法的範例程式碼
from transformers import AutoAdapterModel

# 載入基礎模型
model = AutoAdapterModel.from_pretrained("xlm-roberta-base")

# 增加語言介面卡
model.load_adapter("language/de", source="hf")
model.load_adapter("language/fr", source="hf")

# 增加任務介面卡
model.add_adapter("ner")

# 設定活動介面卡
model.set_active_adapters(["de", "ner"])

這段程式碼展示瞭如何使用介面卡方法處理多語言任務。首先，我們載入一個支援介面卡的XLM-RoBERTa基礎模型。然後，我們載入德語和法語的語言介面卡，這些介面卡包含了特定語言的知識。接著，我們增加一個命名實體識別(NER)任務介面卡，並設定活動介面卡組合為德語言介面卡和NER任務介面卡。這種方法允許模型在不同語言和任務間靈活切換，而無需完全重新訓練模型。

多語言模型的評估與分析

評估多語言模型時，我們需要考慮以下幾個關鍵方面：

1. 跨語言一致性：評估模型在不同語言上的效能是否一致，特別關注效能差距較大的語言。

2. 語言特定錯誤分析：分析模型在特定語言上的常見錯誤型別，這可能揭示模型對某些語言特性的理解不足。

3. 混合語言情境測試：在實際應用中，文字可能混合多種語言（如程式碼切換），應測試模型在這種情境下的表現。

# 語言特定錯誤分析範例
def analyze_errors_by_language(model, datasets, langs):
    error_patterns = {}
    for lang in langs:
        predictions = model.predict(datasets[lang]["test"])
        true_labels = datasets[lang]["test"]["labels"]
        
        errors = []
        for i, (pred, true) in enumerate(zip(predictions, true_labels)):
            if pred != true:
                errors.append({
                    "text": datasets[lang]["test"]["tokens"][i],
                    "predicted": pred,
                    "true": true
                })
        
        # 分析錯誤模式
        error_patterns[lang] = categorize_errors(errors)
    
    return error_patterns

這個函式用於分析模型在不同語言上的錯誤模式。它遍歷每種語言的測試資料集，使用模型進行預測，然後比較預測結果與真實標籤。對於每個錯誤預測，它記錄相關文字、預測標籤和真實標籤。最後，它使用一個假設的categorize_errors函式對每種語言的錯誤進行分類別，以識別常見錯誤模式。這種分析可以幫助我們瞭解模型在不同語言上的弱點，並有針對性地改進模型。

多語言預訓練的重要性

在我的實踐中發現，模型的預訓練階段對多語言效能至關重要：

1. 語言覆寫範圍：確保預訓練資料包含目標語言是基本前提。XLM-RoBERTa模型預訓練了100種語言，但若目標語言不在其中，效能會顯著下降。

2. 語言資源平衡：預訓練資料中各語言的資源分配會影響模型對不同語言的理解深度。

3. 預訓練方法選擇：不同的預訓練方法（如掩碼語言模型、翻譯語言模型等）對跨語言能力有不同影響。

未來發展與研究方向

多語言NLP是一個快速發展的領域，以下是幾個值得關注的研究方向：

1. 超大規模多語言模型：隨著模型規模不斷擴大，如何有效利用大型多語言模型解決低資源語言問題是一個重要課題。

2. 跨語言知識遷移：研究如何更有效地從高資源語言向低資源語言遷移知識，減少效能差距。

3. 多模態多語言學習：結合文字、影像、語音等多模態資料進行多語言學習，提升模型對語言的理解能力。

4. 文化敏感的多語言處理：不同語言背後往往有不同的文化背景，如何使模型對這些文化差異敏感是未來研究的重要方向。

多語言模型的發展為跨語言自然語言處理任務帶來了革命性的變化。透過同時在多種語言上微調模型，我們可以顯著提高模型在各語言上的效能，特別是對於資源有限的語言。在實際應用中，選擇合適的多語言學習策略，考慮語言之間的相似性，並針對特定任務進行最佳化，將有助於構建更強大、更通用的多語言NLP系統。

隨著研究的深入，我們有理由相信多語言模型將變得更加強大，為打破語言障礙、促進全球訊息交流作出更大貢獻。無論是商業應用還是學術研究，多語言NLP都將繼續發揮重要作用，推動人工智慧技術在全球範圍內的普及與應用。

大模型語言的文字生成魔力

當我第一次看到GPT-2生成的獨角獸故事時，不禁感到驚訝。模型描述科學家們在山谷中發現了一群可以説英語的獨角獸，這種內容生成能力令人印象深刻。更讓人驚嘆的是，這種能力並非來自明確的監督訓練，而是模型從預測網頁上的下一個詞彙中自然習得的。

大模型語言如GPT-2和GPT-3僅透過預測數百萬網頁中的下一個詞彙，就能獲得廣泛的技能和模式識別能力。這些能力可以透過不同的輸入提示啟用。在預訓練過程中，語言模型會接觸到各種需要根據上下文預測下一個標記的序列任務，例如加法運算、單詞重組和翻譯等。

這種預訓練方式使模型在微調或推理階段能有效地轉移知識。值得注意的是，這些任務並不是預先選擇的，而是自然存在於訓練十億引數語言模型所使用的龐大語料函式庫中。

Transformer架構生成逼真文字的能力已經催生了多種應用，從InferKit、Write With Transformer到AI Dungeon，甚至像Google的Meena這樣能講笑話的對話代理。在這篇文章中，玄貓將使用GPT-2來説明語言模型的文字生成原理，並探討不同解碼策略如何影響生成文字的品質。

生成連貫文字的挑戰

在之前的探討中，我們主要關注透過預訓練和監督微調來解決NLP任務。對於序列或標記分類別等任務，生成預測相對直接：模型產生一些logits，我們取最大值得到預測類別，或應用softmax函式取得每個類別的預測機率。

相比之下，將模型的機率輸出轉換為文字需要一種解碼方法，這引入了幾個文字生成特有的挑戰：

1. 解碼是迭代進行的，因此涉及的計算量遠超過簡單地透過模型前向傳遞輸入。
2. 生成文字的品質和多樣性取決於解碼方法和相關超引數的選擇。

要理解這個解碼過程，讓我們先來看GPT-2是如何預訓練的，以及隨後如何應用於生成文字。

語言模型的機率基礎

像GPT-2這樣的自迴歸或因果語言模型，預訓練目標是估計一個標記序列 y₁, y₂, …yₜ 在給定某個初始提示或上下文序列 x₁, x₂, …xₖ 的情況下出現的機率 P(Y|X)。

由於直接估計 P(Y|X) 不切實際，通常使用機率的鏈式法則將其分解為條件機率的乘積：

P(y₁, …, yₜ|X) = ∏ P(yₜ|y<ₜ, X)

其中 y<ₜ 是 y₁, …, yₜ₋₁ 序列的簡寫。從這些條件機率中，我們可以理解自迴歸語言建模相當於根據句子中前面的詞預測每個詞；這正是上述等式右側的機率所描述的。這種預訓練目標與BERT的不同，BERT利用過去和未來的上下文來預測被遮蔽的標記。

文字生成的基本流程

現在我們可以猜測如何利用這種下一個標記預測任務來生成任意長度的文字序列。如圖所示，我們從一個提示開始，比如「Transformers are the」，然後使用模型預測下一個標記。一旦確定了下一個標記，我們將其附加到提示中，然後使用新的輸入序列生成另一個標記。我們重複這個過程，直到達到特殊的序列結束標記或預定義的最大長度。

由於輸出序列是根據輸入提示的選擇，這種文字生成通常被稱為條件文字生成。

在這個過程的核心是一種解碼方法，它決定在每個時間步選擇哪個標記。由於語言模型頭在每一步為詞彙表中的每個標記產生一個logit z_t,i，我們可以透過取softmax來獲得下一個可能標記 w_i 的機率分佈：

P(y_t = w_i|y<t, X) = softmax(z_t,i)

大多數解碼方法的目標是透過選擇 Y 來搜尋最可能的整體序列，使得：

Y = argmax P(Y|X)

直接找到 Y 需要用語言模型評估每個可能的序列。由於不存在能在合理時間內做到這一點的演算法，我們轉而使用近似方法。接下來，我們將探索其中一些近似方法，並逐步構建更人工智慧、更複雜的演算法，用於生成高品質文字。

貪婪搜尋解碼

從模型的連續輸出中取得離散標記的最簡單解碼方法是在每個時間步貪婪地選擇機率最高的標記：

y_t = argmax P(y_t|y<t, X)

讓我們看看貪婪搜尋如何工作。首先，我們載入帶有語言建模頭的15億引數版本的GPT-2：

CODE_BLOCK_2

這段程式碼首先匯入必要的函式庫：PyTorch用於張量操作，Transformers函式庫中的AutoTokenizer和AutoModelForCausalLM用於載入預訓練模型。接著，程式碼檢測是否有可用的CUDA裝置（GPU）來加速計算，如果有就使用GPU，否則使用CPU。然後，它指定要使用的模型名稱為"gpt2-xl"，這是GPT-2的15億引數版本。最後，程式碼從Hugging Face模型函式庫中載入對應的分詞器和因果語言模型，並將模型移動到選定的裝置上。

現在讓我們生成一些文字！雖然Transformers函式庫為GPT-2這樣的自迴歸模型提供了generate()函式，但我們將自己實作這種解碼方法，以瞭解其內部工作原理。我們採用圖中所示的迭代方法：使用「Transformers are the」作為輸入提示，執行8個時間步的解碼。在每個時間步，我們提取模型對提示中最後一個標記的logits，並用softmax包裝它們以獲得機率分佈。然後選擇機率最高的下一個標記，將其增加到輸入序列中，再次執行該過程。以下程式碼完成了這項工作，並儲存了每個時間步的五個最可能標記，以便我們可以視覺化替代選項：

CODE_BLOCK_3

這段程式碼實作了貪婪搜尋解碼策略。首先，它設定輸入文字「Transformers are the」，並使用分詞器將其轉換為模型可接受的輸入ID。然後，它初始化一個列表來儲存每次迭代的結果，並設定生成8個標記，每步顯示機率最高的5個選擇。

在主迴圈中，程式碼執行以下步驟：

1. 記錄當前輸入序列
2. 透過模型執行輸入，取得輸出
3. 提取最後一個標記位置的logits，並應用softmax轉換為機率
4. 按機率降序排序標記ID
5. 儲存機率最高的五個標記及其機率
6. 將機率最高的標記增加到輸入序列
7. 重複上述步驟

最後，程式碼將所有迭代結果轉換為pandas DataFrame並顯示。這樣可以看到模型在每一步的決策過程。

使用這種簡單方法，我們生成了句子「Transformers are the most popular toy line in the world」。有趣的是，這表明GPT-2已經內化了一些關於變形金剛媒體特許經營的知識，這是由兩家玩具公司（孩之寶和Takara Tomy）建立的。我們還可以看到每一步的其他可能延續，這顯示了文字生成的迭代性質。與序列分類別等只需一次前向傳遞即可生成預測的任務不同，文字生成需要一個接一個地解碼輸出標記。

解碼策略的演進

貪婪搜尋雖然簡單直觀，但它有一個顯著的缺點：在每個步驟僅選擇機率最高的標記可能導致次優的整體序列。例如，選擇一個當前步驟機率略低但能引導到更好後續序列的標記，可能產生整體更佳的結果。這就是為什麼在實際應用中，我們通常會採用更複雜的解碼策略。

束搜尋解碼

束搜尋（Beam Search）是一種更先進的解碼方法，它在每個時間步保留多個最可能的序列（稱為束），然後在生成過程結束時選擇機率最高的完整序列。這種方法允許模型探索多個可能的路徑，從而找到全域更優的解決方案。

束搜尋的核心思想是在每個時間步維護k個最可能的部分序列，其中k是束寬。在下一個時間步，模型為每個部分序列生成所有可能的延續，然後從所有這些候選序列中選擇k個最可能的序列繼續。

取樣技術

除了確定性的搜尋方法外，取樣技術也廣泛應用於文字生成。最簡單的形式是從模型的輸出機率分佈中隨機取樣下一個標記。這種方法可以增加生成文字的多樣性，但有時會產生不連貫或不符合上下文的結果。

為了平衡確定性和隨機性，實踐中常用的技術包括：

1. 溫度取樣：透過調整softmax的溫度引數，控制機率分佈的陡峭程度。較低的溫度使高機率標記更可能被選中，而較高的溫度則使分佈更加均勻，增加多樣性。

2. Top-k取樣：只從機率最高的k個標記中取樣，這可以避免選擇機率極低的不合適標記。

3. Top-p (nucleus) 取樣：只從累積機率達到閾值p的最小標記集合中取樣，這比Top-k更靈活，因為集合大小會根據機率分佈的形狀自動調整。

4. 混合策略：結合多種技術，如先應用Top-k過濾，然後在剩餘標記上使用溫度取樣。

文字生成的實際應用與挑戰

大模型語言的文字生成能力已經在多個領域找到應用，從內容創作輔助、自動摘要到對話系統。然而，這些應用也面臨一些共同的挑戰：

生成文字的評估

評估生成文字的品質是一個複雜的問題。傳統的評估指標如BLEU或ROUGE主要根據n-gram比對，但這些指標往往無法捕捉語義連貫性或創意性等方面。人工評估雖然更全面，但成本高與主觀性強。開發更好的自動評估方法仍是一個活躍的研究領域。

控制生成內容

控制生成文字的風格、語氣、長度和主題是實際應用中的重要需求。這可以透過精心設計提示、條件生成或引導技術來實作，但仍然具有挑戰性，特別是當需要精確控制時。

避免有害內容

大模型語言可能生成有害、不準確或偏見的內容。開發有效的內容過濾和安全機制是至關重要的，但這需要平衡開放性和安全性之間的權衡。

解碼策略的實際影響

不同的解碼策略會對生成文字產生顯著影響。在我的實驗中，玄貓發現貪婪搜尋往往產生較為確定但可能單調的文字，而取樣方法則可能產生更多樣但有時不連貫的內容。

以下是一些實際觀察：

1. 貪婪搜尋生成的文字通常語法正確與連貫，但可能缺乏創意或陷入重複模式。
2. 束搜尋可以產生更流暢的長文字，但增加束寬通常只帶來邊際改善，同時顯著增加計算成本。
3. 降低取樣溫度（如0.7）通常能在連貫性和創意性之間取得良好平衡。
4. Top-p取樣（p值約0.9）在故事生成等創意任務中表現特別出色。

文字生成的未來發展

隨著模型規模和演算法的不斷進步，文字生成技術正在迅速發展。GPT-3及其後繼者展示了令人印象深刻的能力，但也暴露了一些侷限性。未來的發展方向可能包括：

1. 更高效的解碼演算法，能在保持生成品質的同時減少計算需求。
2. 更好的控制機制，讓使用者能精確指導生成過程。
3. 將外部知識和推理能力整合到生成過程中，提高事實準確性。
4. 開發更有效的評估框架，全面衡量生成文字的各個方面。

在文字生成領域，技術挑戰與倫理考量並存。隨著這些模型越來越融入我們的數字生活，理解它們的工作原理、優勢和侷限性變得越來越重要。

大模型語言的文字生成能力令人驚嘆，從簡單的貪婪搜尋到複雜的取樣策略，解碼方法的選擇對生成結果有著深遠影響。透過深入理解這些技術原理，我們能更好地利用它們的潛力，同時應對相關挑戰。正如文字生成本身是一個迭代過程，這一領域的技術也在不斷迭代進步，開創更多令人期待的可能性。

解碼策略：從貪婪搜尋到束搜尋的進化之路

在自然語言處理領域中，文字生成是一項既迷人又充滿挑戰的任務。當我們使用像GPT-2這樣的語言模型生成文字時，選擇合適的解碼策略至關重要。這些策略決定了如何從模型的機率分佈中選擇下一個詞，進而影響生成文字的品質和多樣性。在實作過程中，我發現不同的解碼方法對最終結果有著顯著影響。

貪婪搜尋：簡單但有侷限

貪婪搜尋是最直觀的解碼策略，它在每一步都選擇機率最高的詞。實際操作相當簡單，只需使用Transformers函式庫的__INLINE_CODE_1__函式，並確保關閉取樣功能：

CODE_BLOCK_4

這段程式碼展示瞭如何使用貪婪搜尋進行文字生成。首先將輸入文字轉換為模型可理解的token IDs，然後使用__INLINE_CODE_1__函式生成新文字。__INLINE_CODE_3__引數指定要生成的新token數量，而__INLINE_CODE_4__則確保使用貪婪搜尋（而非隨機取樣）。最後，將生成的token序列解碼回可讀文字。這是最基本的生成方式，適合需要確定性輸出的場景。

讓我們嘗試使用貪婪搜尋來生成一個更有趣的例子 - 一個關於在安地斯山脈發現會説英語的獨角獸的故事：

CODE_BLOCK_5

這段程式碼設定了一個更長的生成長度（128個tokens），並提供了一個關於發現會説英語的獨角獸的提示文字。我們依然使用貪婪搜尋（INLINE_CODE_4），但這次使用__INLINE_CODE_6__引數而非__INLINE_CODE_3__，這會控制包含輸入在內的總序列長度。這種設定適合生成較長的連貫文字，如故事或文章。

使用貪婪搜尋生成的文字如下：

CODE_BLOCK_6

仔細觀察這個生成結果，我發現了貪婪搜尋的一個主要缺點：它傾向於產生重複的輸出序列。注意最後兩個段落是如何開始重複"The researchers were surprised to find that the unicorns were able"這一短語的。這種重複性在新聞文章或故事中顯然是不理想的。

貪婪搜尋的侷限性分析

在深入研究解碼策略時，我發現貪婪搜尋的問題根源在於其決策機制。由於它只關注當前步驟的最高機率選擇，而不考慮這些選擇對未來步驟的影響，因此容易陷入區域性最優解。在文字生成上下文中，這意味著它可能會錯過整體機率更高的詞序列，僅僅因為高機率詞前面恰好是低機率詞。

貪婪搜尋雖然速度快、實作簡單，但這種"短視"的特性使其不適合需要創意和多樣性的長文字生成任務。不過，對於某些特定場景，如算術問題或需要確定性答案的短序列生成，貪婪搜尋仍然是一個實用的選擇。

例如，如果你想讓GPT-2執行簡單的加法運算，可以透過提供格式為"5 + 8 => 13 \n 7 + 2 => 9 \n 1 + 0 =>“的提示來條件化模型，貪婪搜尋通常能給出正確答案。

束搜尋：平衡效率與品質的解碼策略

為瞭解決貪婪搜尋的侷限性，我們可以轉向更複雜的解碼策略，如束搜尋（Beam Search）。束搜尋不僅考慮每一步的最高機率token，而是同時追蹤多個可能的序列，這些序列被稱為"束”（beams）。

束搜尋的工作原理

束搜尋的核心思想是維護一組最可能的部分序列（束），而不是隻保留一個。具體來説：

1. 在每一步，束搜尋考慮現有束的所有可能延伸
2. 從所有可能的延伸中選擇機率最高的b個（b是束的數量）
3. 重複此過程直到達到最大長度或遇到結束標記
4. 最後根據對數機率對所有束進行排序，選擇最可能的序列

這種方法允許模型"向前看"並考慮不同路徑的長期影響，而不僅是當前步驟的最佳選擇。

為什麼使用對數機率？

在實作束搜尋時，我們使用對數機率而不是原始機率來評分序列，這有幾個重要原因：

1. 數值穩定性：計算序列的總體機率涉及多個條件機率的乘積。由於每個條件機率通常是[0,1]範圍內的小數，它們的乘積會迅速變得極小，導致數值下溢。以一個長度為1024的序列為例，即使每個token的機率慷慨地假設為0.5，總體機率也會是一個極小的數：

0.5 ** 1024
# 結果：5.562684646268003e-309

這個數值太小，電腦難以精確表示，從而導致數值不穩定。

2. 簡化計算：使用對數機率可以將乘法轉換為加法，這在計算上更為穩定：

import numpy as np
sum([np.log(0.5)] * 1024)
# 結果：-709.7827128933695

這個數值電腦可以輕鬆處理，即使對於更小的數字也能正常工作。

3. 保持排序一致性：由於對數是單調函式，使用對數機率不會改變不同序列之間的相對排序。

計算序列的對數機率

為了比較貪婪搜尋和束搜尋生成文字的品質，我們需要計算它們的對數機率。這涉及以下步驟：

1. 將模型回傳的logits轉換為對數機率分佈
2. 從分佈中選取實際生成序列中每個token的對數機率
3. 將這些對數機率相加得到序列的總對數機率

以下函式實作了這些步驟：

import torch.nn.functional as F

def log_probs_from_logits(logits, labels):
    logp = F.log_softmax(logits, dim=-1)
    logp_label = torch.gather(logp, 2, labels.unsqueeze(2)).squeeze(-1)
    return logp_label

def sequence_logprob(model, labels, input_len=0):
    with torch.no_grad():
        output = model(labels)
        log_probs = log_probs_from_logits(
            output.logits[:, :-1, :], labels[:, 1:])
        seq_log_prob = torch.sum(log_probs[:, input_len:])
    return seq_log_prob.cpu().numpy()

這兩個函式用於計算生成序列的對數機率。log_probs_from_logits將模型輸出的logits轉換為對數機率，並提取出序列中實際選擇的token的對數機率。sequence_logprob計算整個序列的總對數機率，忽略輸入提示部分（因為這部分不是由模型生成的）。注意logits和labels的對齊方式：由於模型預測下一個token，我們不會為第一個label獲得logit，也不需要最後一個logit。這個計算對於比較不同解碼策略的效果至關重要。

讓我們計算貪婪搜尋生成文字的對數機率：

logp = sequence_logprob(model, output_greedy, input_len=len(input_ids[0]))
print(f"\nlog-prob: {logp:.2f}")
# 輸出：log-prob: -87.43

實作束搜尋並比較效果

在Transformers函式庫中實作束搜尋非常簡單，只需在generate()函式中指定num_beams引數：

output_beam = model.generate(input_ids, max_length=max_length, num_beams=5,
do_sample=False)
logp = sequence_logprob(model, output_beam, input_len=len(input_ids[0]))
print(tokenizer.decode(output_beam[0]))
print(f"\nlog-prob: {logp:.2f}")

這段程式碼使用束搜尋進行文字生成，設定了5個束（num_beams=5）。束的數量越多，結果可能越好，但生成過程也會變得更慢，因為我們需要為每個束平行生成序列。這是一個計算資源與生成品質之間的權衡。對於重要的生成任務，增加束的數量通常能提高文字品質，特別是減少重複和提高連貫性。

解碼策略的實際應用與選擇

在實際應用中，選擇合適的解碼策略涉及多方面的考量。根據我的經驗，這裡有一些指導原則：

貪婪搜尋適用場景

1. 簡短與確定性的回應：如問答系統中的事實回答
2. 結構化輸出：如JSON或XML格式的資料生成
3. 算術或邏輯推理：需要精確答案的計算問題
4. 資源有限的環境：對計算效率有高要求的場景

束搜尋適用場景

1. 中等長度的連貫文字：如產品描述、新聞摘要
2. 需要高品質但不要求高創意性的內容：如技術檔案、報告
3. 結構完整性重要的生成任務：如完整的故事或文章，避免中途"迷路"
4. 平衡計算資源與生成品質的場景：束搜尋提供了一個很好的折衷方案

在開發一個客戶端文字生成系統時，我曾面臨解碼策略選擇的問題。系統需要生成專業的技術回應，但計算資源有限。經過測試，我發現使用3-5個束的束搜尋能在品質和效率之間取得良好平衡。對於較短回應，甚至貪婪搜尋也能產生令人滿意的結果。

解碼策略的侷限性與進階技巧

雖然束搜尋比貪婪搜尋更先進，但它仍然有其侷限性。主要問題之一是束搜尋傾向於生成高機率但可能乏味的文字，缺乏創意和多樣性。這是因為它根本上還是一種確定性的搜尋方法。

為瞭解決這個問題，我們可以考慮以下進階技巧：

1. 束搜尋變體

• 多樣性束搜尋：透過懲罰相似的束來促進多樣性
• 長度正規化：避免束搜尋偏好短序列的傾向
• N-gram懲罰：減少重複短語的出現

2. 結合取樣的方法

• 溫度控制的取樣：調整機率分佈的"溫度"來控制隨機性
• Top-k取樣：只從機率最高的k個選項中取樣
• Top-p (nucleus) 取樣：從累積機率達到閾值p的最小集合中取樣

這些進階技巧在實際應用中非常有價值，尤其是當你需要生成既連貫又有創意的長文字時。

解碼策略的效能考量

在實際佈署文字生成系統時，解碼策略的效能是一個重要考量因素。根據我的經驗，這裡有一些效能相關的觀察：

1. 計算複雜度：

   • 貪婪搜尋：O(V × L)，其中V是詞彙表大小，L是序列長度
   • 束搜尋：O(V × B × L)，其中B是束的數量

2. 記憶體使用：

   • 束搜尋的記憶體使用量與束的數量成正比
   • 對於大模型和長序列，這可能成為一個瓶頸

3. 批次處理效率：

   • 貪婪搜尋可以高效地批次處理多個輸入
   • 束搜尋的批次處理更為複雜，因為每個輸入可能有不同的活躍束

4. 早停策略：

   • 實作提前終止生成的策略可以顯著提高效率
   • 例如，當所有束都生成結束標記時停止

在一個高流量的生產環境中，我曾透過實施自適應束大小（根據輸入複雜度動態調整束的數量）來最佳化效能，這使我們能夠在不顯著增加計算資源的情況下提高生成品質。

結合解碼策略與模型最佳化

解碼策略與模型本身的最佳化是相輔相成的。在實踐中，我發現以下方法特別有效：

1. 模型量化：透過降低模型的精確度（如從FP32到INT8）可以顯著提高解碼速度，尤其是對於束搜尋
2. 知識蒸餾：從大型模型蒸餾知識到小型模型，然後使用更複雜的解碼策略
3. 模型微調：針對特定域的微調可以使模型在該域中生成更高品質的文字，從而減少對複雜解碼策略的依賴
4. 快取機制：對於常見查詢實施結果快取，避免重複解碼

這些技術結合適當的解碼策略，可以在保持生成品質的同時顯著提高系統效能。

文字生成中的解碼策略從簡單的貪婪搜尋到更複雜的束搜尋，每種方法都有其適用場景和限制。貪婪搜尋簡單高效但容易產生重複內容，而束搜尋則能產生更連貫的文字，代價是增加了計算複雜度。在實際應用中，選擇合適的解碼策略需要考慮生成任務的性質、所需的文字品質以及可用的計算資源。隨著自然語言處理技術的不斷發展，我們也看到了更多創新的解碼方法出現，如結合取樣的技術，這些方法在保持文字連貫性的同時增加了生成內容的多樣性和創意性。透過深入理解這些解碼策略的原理和應用，我們能夠更好地最佳化文字生成系統，為使用者提供更優質的生成內容。

束搜尋與抽樣：平衡文字生成的連貫性與多樣性

在開發文字生成系統時，選擇合適的解碼策略至關重要。這些策略決定了如何從語言模型的機率分佈中選取下一個詞彙，直接影響生成內容的品質。在實作多個文字生成專案的過程中，玄貓發現不同解碼方法之間的選擇常是一場連貫性與創造性的拔河賽。

束搜尋解碼：追求最高機率

束搜尋（Beam Search）是一種在生成過程中保持多條可能路徑的策略。與貪婪解碼只考慮單一最高機率選項不同，束搜尋同時追蹤多個候選序列，最終選擇整體機率最高的一條路徑。

output_beam = model.generate(input_ids, max_length=max_length, num_beams=5, 
                            do_sample=False)
logp = sequence_logprob(model, output_beam, input_len=len(input_ids[0]))
print(tokenizer.decode(output_beam[0]))
print(f"\nlog-prob: {logp:.2f}")

這段程式碼使用束搜尋生成文字。num_beams=5表示演算法會同時追蹤5條可能路徑，do_sample=False表示不使用隨機抽樣。sequence_logprob函式運算生成序列的對數機率，數值越高表示序列整體機率越大。束搜尋通常能產生比貪婪解碼更高機率的序列，但仍可能面臨重複文字的問題。

束搜尋的優勢在於它能夠「向前看」多步，避免陷入區域性最優解。不過，在實際應用中，我發現束搜尋雖然能提高生成文字的對數機率，但仍然容易產生重複內容。這是因為模型傾向於重複已經生成的高機率模式，特別是當束寬（beam width）較大時。

解決重複問題：N-gram懲罰

為瞭解決束搜尋中常見的重複問題，我們可以引入n-gram懲罰機制：

output_beam = model.generate(input_ids, max_length=max_length, num_beams=5,
                            do_sample=False, no_repeat_ngram_size=2)
logp = sequence_logprob(model, output_beam, input_len=len(input_ids[0]))
print(tokenizer.decode(output_beam[0]))
print(f"\nlog-prob: {logp:.2f}")

此程式碼在束搜尋的基礎上增加了no_repeat_ngram_size=2引數，表示禁止生成已出現過的2-gram（連續兩個詞的組合）。這個機制會追蹤已生成的n-gram，並在下一步將可能形成重複n-gram的詞彙機率設為零，強制模型選擇不同的表達方式。雖然這可能導致整體對數機率降低（上例從-55.23降至-93.12），但能有效改善文字的流暢性和多樣性。

在處理摘要或機器翻譯等需要事實準確性的應用時，帶有n-gram懲罰的束搜尋通常是一個理想選擇。它在保持內容連貫的同時，有效避免了重複。不過，當我們更關注生成內容的多樣性而非事實準確性時，例如開放域對話或故事生成，抽樣方法可能是更好的選擇。

抽樣方法：增加生成多樣性

基本抽樣與溫度控制

最簡單的抽樣方法是從模型在每個時間步的輸出機率分佈中隨機取樣：

$$P(y_t = w_i | y_{<t}, \mathbf{A}) = \text{softmax}(z_{t,i}) = \frac{\exp(z_{t,i})}{\sum_{j=1}^{V} \exp(z_{t,j})}$$

其中V表示詞彙表的大小。我們可以透過溫度引數T來控制輸出的多樣性，該引數在取softmax前重新調整logits：

$$P(y_t = w_i | y_{<t}, \mathbf{A}) = \frac{\exp(z_{t,i}/T)}{\sum_{j=1}^{V} \exp(z_{t,j}/T)}$$

溫度引數的調整直接影響機率分佈的形狀。當T遠小於1時，分佈變得尖峰化，罕見詞彙被抑制；當T遠大於1時，分佈變得平坦，每個詞彙的機率趨於相等。

讓我們看看不同溫度下的生成效果：

CODE_BLOCK_14

這段程式碼展示了溫度引數對生成文字的影響。__INLINE_CODE_17__啟用抽樣模式，而__INLINE_CODE_18__表示不限制可抽樣的詞彙數量。溫度為2.0時，生成的文字較為混亂，甚至包含許多不存在的詞；溫度降至0.5時，文字變得更加連貫和合理。這展示了溫度調整如何影響生成文字的品質與多樣性之間的平衡。

在實際應用中，我發現溫度引數是控制生成品質的強大工具。較低的溫度（如0.5-0.7）通常產生連貫但保守的文字，適合需要精確性的任務；較高的溫度（如1.2-1.5）則產生更具創意但可能不太連貫的內容，適合創意寫作或頭腦風暴。溫度設為1.0時，模型會嚴格按照其學習到的機率分佈進行抽樣。

Top-k與Nucleus抽樣：精確控制詞彙分佈

儘管溫度調整能有效控制生成文字的多樣性，但仍有可能在高溫設定下產生不連貫或無意義的內容。為了在保持多樣性的同時確保生成品質，我們可以使用Top-k和Nucleus（Top-p）抽樣來限制每個時間步可選擇的詞彙範圍。

Top-k抽樣

Top-k抽樣限制模型在每個時間步只能從機率最高的k個詞彙中選擇：

CODE_BLOCK_15

這段程式碼實作了Top-k抽樣，其中__INLINE_CODE_19__表示只考慮機率最高的50個詞彙。溫度設為1.0，表示不改變這些詞彙的相對機率。這種方法確保了生成過程只考慮合理的詞彙選擇，同時透過抽樣保持了一定的多樣性。

在實踐中，Top-k抽樣是一種簡單有效的方法，可以在保持文字多樣性的同時避免生成奇怪或不適當的詞彙。我通常使用k=40至50的值，這在大多數情況下能產生良好的結果。不過，固定的k值並不總是最佳選擇，因為不同上下文中合理詞彙的數量可能差異很大。

Nucleus (Top-p) 抽樣

Nucleus抽樣解決了Top-k的限制，它根據累積機率動態選擇詞彙集合：

CODE_BLOCK_16

此程式碼實作了Nucleus抽樣，其中__INLINE_CODE_20__表示只從累積機率達到90%的最小詞彙集合中抽樣。__INLINE_CODE_18__停用Top-k限制。這種方法根據上下文自適應地調整可選詞彙數量，在不同情境中表現更為靈活。

Nucleus抽樣（也稱為Top-p抽樣）是我在開放式生成任務中最常使用的方法。它的核心思想是隻從累積機率超過閾值p的最小詞彙集合中抽樣。這意味著在某些上下文中，模型可能只從少數幾個高機率詞彙中選擇；而在其他更模糊的上下文中，它可能考慮更多選項。

透過觀察詞彙機率分佈的圖表，我們可以看到大多數詞彙的機率極低，而少數詞彙佔據了大部分機率品質。在實際應用中，p值通常設在0.9到0.95之間，這意味著我們只考慮累積機率達到90%-95%的詞彙。這有效排除了那些在當前上下文中不太可能出現的詞彙，同時保持了足夠的多樣性。

解碼策略的應用場景選擇

在選擇適當的解碼策略時，我們需要考慮具體的應用場景：

1. 束搜尋（可選加n-gram懲罰）：適用於需要高度連貫性和事實準確性的任務，如機器翻譯、文字摘要和問答系統。

2. 低溫抽樣：適用於需要相對保守但仍有一定變化的生成任務，如商業內容生成、技術檔案等。

3. Top-k或Nucleus抽樣：適用於需要創意和多樣性的任務，如故事生成、對話系統和創意寫作。

4. 高溫抽樣：適用於需要最大創意和意外性的任務，如頭腦風暴、詩歌創作等，但需要更嚴格的後處理以過濾無意義內容。

在實際應用中，我經常將這些方法結合使用。例如，在對話系統中，我可能使用Nucleus抽樣（p=0.9）和適中的溫度（T=0.7），同時設定一個寬鬆的Top-k限制（k=100）作為安全網，以防止極端情況下的離譜生成。

解碼策略的效能考量

除了生成品質外，不同解碼策略在計算效能上也有顯著差異：

1. 貪婪解碼：計算最快，因為每步只考慮一個選項。

2. 束搜尋：計算成本隨束寬增加而線性增長，但可以高度平行化。

3. 抽樣方法：通常比束搜尋快，因為不需要追蹤多個候選序列，但比貪婪解碼慢。

在處理大規模生成任務時，這些效能差異可能變得非常重要。例如，在構建需要實時回應的對話系統時，我可能會選擇計算成本較低的Top-k抽樣而非Nucleus抽樣，即使後者可能產生略好的結果。

解碼策略的實際影響

讓我們深入分析不同解碼策略對生成文字的實際影響：

連貫性與流暢度

束搜尋通常產生最連貫和流暢的文字，因為它尋找整體機率最高的序列。然而，這種連貫性有時會導致過度重複和單調。加入n-gram懲罰可以緩解這個問題，但可能引入不自然的轉折。

抽樣方法在連貫性方面通常不如束搜尋，但能產生更自然的變化。低溫抽樣（T<1）可以在保持相對連貫性的同時引入一些變化，而高溫抽樣則可能導致文字跳躍或不連貫。

多樣性與創造性

在多樣性方面，抽樣方法明顯優於確定性方法（如貪婪解碼和束搜尋）。高溫抽樣提供最大的多樣性，但可能產生無意義的內容。Nucleus抽樣通常能在多樣性和品質之間取得良好平衡。

事實準確性

當生成需要事實準確的內容時，束搜尋通常是首選。這是因為它傾向於選擇模型認為最可能的序列，這些序列往往更符合訓練資料中的事真真真實模式。抽樣方法雖然創意更強，但可能產生虛構訊息，如我們在獨角獸例子中看到的「阿根廷布宜諾斯艾利斯大學的Luis Guzman研究員」。

在開發文字生成系統時，解碼策略的選擇應該根據具體需求而定。沒有一種策略適用於所有場景，關鍵是理解每種方法的特性及其對生成內容的影響。在許多情況下，最佳策略可能是多種方法的組合，或是透過超引數調整找到特定任務的最佳設定。

文字生成技術的魅力在於它能夠創造出流暢、連貫與有時令人驚訝的內容。透過掌握不同的解碼策略及其影響，我們可以更好地控制生成過程，為各種應用場景創造出理想的文字。隨著語言模型的不斷發展，這些解碼策略也將繼續演化，為我們提供更精確的控制和更高品質的生成內容。

取樣策略的重要性：為何小數字也能帶來大影響

在文字生成過程中，每次生成一個詞元（token）時，我們都需要從機率分佈中進行取樣。這些機率數值看似微小，但由於生成過程中可能需要取樣數百次，即使只有1/100或1/1000的低機率，在多次取樣後也有相當機會選到這些低機率詞元。這些不太可能的選擇一旦被納入，往往會顯著影響生成文字的品質。

這正是為什麼在實際應用中，我們通常希望避開這些極低機率的詞元。Top-k和Top-p取樣技術正是為解決這個問題而生。

Top-k取樣：設定固定範圍的選擇策略

Top-k取樣的核心思想是透過只從機率最高的k個詞元中取樣，來避開低機率選項。這相當於在機率分佈的長尾上設定一條垂直線，只從左側的詞元中取樣。

在實作中，使用Hugging Face的Transformers函式庫，我們可以輕鬆地透過__INLINE_CODE_1__函式的__INLINE_CODE_23__引數來實作這一策略：

CODE_BLOCK_17

這段程式碼使用了預訓練模型進行文字生成，並啟用了Top-k取樣策略。__INLINE_CODE_19__表示在每一步生成時，只考慮機率最高的50個詞元，從中進行隨機取樣。__INLINE_CODE_17__指示模型使用取樣而非貪婪解碼，__INLINE_CODE_6__則設定了生成文字的最大長度。這種方法能有效避免模型選擇極低機率的詞元，從而提升生成文字的連貫性和品質。

使用Top-k取樣生成的文字通常更接近人類撰寫的風格。然而，Top-k取樣面臨一個挑戰：如何選擇合適的k值？k值是手動設定的，與對序列中的每一個選擇都保持相同，不考慮實際的輸出分佈特性。我們可以透過分析文字品質指標來尋找適合的k值，但這種固定閾值的方法可能不夠靈活。

Top-p取樣：動態調整的核心策略

為瞭解決固定閾值的侷限性，研究者提出了核心取樣（Nucleus Sampling）或Top-p取樣。這種方法不使用固定的閾值，而是設定一個條件來決定何時截斷。

具體來説，我們設定一個機率品質閾值（如95%），然後將所有詞元按機率降序排列，從最高機率的詞元開始累加，直到所選詞元的機率總和達到設定的閾值。這相當於在機率累積和圖上設定一條水平線，只從線下的詞元中取樣。

根據輸出分佈的特性，這可能只涉及一個高機率詞元，或者多達數百個機率較為平均的詞元。同樣，__INLINE_CODE_1__函式提供了__INLINE_CODE_28__引數來實作這一策略：

CODE_BLOCK_18

這段程式碼實作了Top-p取樣，設定__INLINE_CODE_29__表示在每一步生成時，只從累積機率達到90%的詞元集合中取樣。與Top-k不同，這種方法根據實際的機率分佈動態調整候選詞元的數量，既能保留高機率選項的優勢，又能在機率分佈較為平坦時提供更多樣化的選擇，使生成的文字更加自然與有創意。

Top-p取樣同樣能產生連貫的文字，與往往帶有新的創意轉折。更有趣的是，我們可以結合這兩種取樣方法，獲得兩全其美的效果。例如，設定__INLINE_CODE_19__和__INLINE_CODE_20__相當於從最多50個詞元中選擇累積機率品質為90%的詞元進行取樣。

值得一提的是，我們還可以在使用取樣時應用束搜尋（beam search）。不同於貪婪地選擇下一批候選詞元，我們可以對它們進行取樣，並以相同的方式構建搜尋束。

哪種解碼方法最佳？取決於你的應用場景

遺憾的是，並沒有一種放之四海皆準的「最佳」解碼方法。最適合的方法取決於你正在處理的任務性質。

如果你希望模型執行精確的任務，如算術運算或回答特定問題，那麼應該降低溫度引數（temperature）或使用確定性方法，如貪婪搜尋結合束搜尋，以確保獲得最可能的答案。

相反，如果你希望模型生成較長的文字，甚至具有一定的創意，那麼應該切換到取樣方法，提高溫度引數，或使用Top-k和Top-p取樣的組合。

文字生成的計算挑戰

文字生成與我們先前討論的自然語言理解（NLU）任務有很大不同。生成文字至少需要為每個生成的詞元進行一次前向傳遞，如果使用束搜尋，則需要更多。這使得文字生成在計算上相當密集，需要適當的基礎設施來大規模執行文字生成模型。

除此之外，良好的解碼策略能夠將模型的輸出機率轉換為離散詞元，從而提高文字品質。尋找最佳解碼策略需要一些實驗和對生成文字的主觀評估。

然而，在實際應用中，我們不應該僅憑直覺做出這些決定。與其他NLP任務一樣，我們應該選擇能夠反映我們要解決問題的模型效能指標。毫不奇怪，有各種各樣的選擇，在下一章中，我們將探討最常見的指標，並學習如何訓練和評估用於文字摘要的模型。

文字摘要：轉換序列的藝術

文字摘要是一項經典的序列到序列（seq2seq）任務，包含輸入文字和目標文字。正如我們在前面章節中所見，這是編碼器-解碼器（encoder-decoder）架構的變形金剛模型所擅長的領域。

無論是研究文章、財務報告還是電子郵件串，我們都有可能需要對檔案進行摘要。想一想，這需要一系列能力，如理解長篇段落、推理內容並產生流暢文字，同時納入原始檔案的主要主題。此外，準確摘要新聞文章與摘要法律合約截然不同，因此需要複雜的領域泛化能力。

由於這些原因，文字摘要對於神經語言模型（包括變形金剛模型）來説是一項具有挑戰性的任務。儘管面臨這些挑戰，文字摘要為領域工作者提供了顯著加速工作流程的前景，企業也使用它來濃縮內部知識、摘要合約、自動生成社交媒體發布的內容等。

CNN/DailyMail資料集是摘要任務的典型資料集，包含約30萬對新聞文章及其相應的摘要，由CNN和DailyMail附加到其文章的要點組成。該資料集的一個重要方面是摘要是抽象的而非提取式的，這意味著它們由新句子組成，而不是簡單的摘錄。

在實際應用中，我們可以建立自己的編碼器-解碼器模型，將多人之間的對話濃縮成簡潔的摘要，或者處理其他型別的文字轉換任務。

文字生成和摘要技術的發展，不僅提升了自然語言處理的能力，也為各行各業帶來了新的效率和可能性。透過選擇合適的解碼策略和評估指標，我們能夠開發出更符合特定應用需求的文字生成系統。

文字摘要的挑戰與轉換器模型的應用

在自然語言處理領域，文字摘要一直是個極具挑戰性的任務。當我們面對長文章時，如何提取核心訊息並生成簡潔的摘要，既考驗模型的理解能力，也測試其生成能力。近年來，轉換器(Transformer)架構在這一領域取得了突破性進展。

長文字摘要的特殊挑戰

在實際應用中，原始文章與目標摘要之間的長度差異通常非常顯著。以新聞文章為例，原文可能是摘要長度的17倍。這種差距對大多數轉換器模型構成了挑戰，因為它們的上下文視窗通常限制在約1000個標記（token）左右，僅相當於幾個段落的文字。

面對這一限制，目前的常見做法是：

CODE_BLOCK_19

這段程式碼展示了處理長文字的常見但粗糙的方法 - 簡單截斷。這種方法的主要問題在於，文章後半部分可能包含對摘要至關重要的訊息，但被直接丟棄了。這是當前轉換器架構的固有限制，需要特殊的技術來克服。

當我在研究文字摘要系統時，發現這種簡單截斷雖然實用，但往往會導致生成的摘要品質下降，特別是當文章的結論或關鍵點位於後半部分時。在實際應用中，我們需要考慮更複雜的方法來處理長文字。

文字摘要模型實戰比較

為了直觀瞭解不同摘要模型的效能，我選取了一個具體的新聞文章樣本，並限制輸入文字為2000個字元，以確保所有模型處理相同的輸入：

CODE_BLOCK_20

摘要中的句子分隔處理

在摘要領域，慣例是用換行符分隔摘要句子。但簡單地在每個句號後增加換行符存在問題，比如"U.S.“或"U.N.“這類別縮寫會被錯誤處理。NLTK包提供了更人工智慧的演算法：

CODE_BLOCK_21

這段程式碼展示了使用NLTK的句子分割功能的重要性。__INLINE_CODE_32__函式能夠人工智慧識別句子邊界，區分縮寫中的點和句子結束的點。這在處理英文文字時特別重要，因為英文中有大量帶點的縮寫。在構建摘要系統時，正確的句子分割對於生成結構良好、可讀性強的摘要至關重要。

我在實際專案中發現，這種看似簡單的預處理步驟實際上對最終摘要品質有顯著影響，特別是在需要保持原文語義結構的場景中。

基準摘要方法：前三句提取

新聞文章摘要的一個常見基準方法是直接提取文章的前三個句子。使用NLTK的句子分割器，我們可以輕鬆實作這一基準：

CODE_BLOCK_22

這個函式展示了最簡單的提取式摘要方法 - 取文章前三句。這種方法根據一個常見假設：新聞文章通常在開頭就包含主要訊息（遵循"倒金字塔"結構）。雖然簡單，但在新聞領域這種方法往往能提供合理的基準效能。

在我評估各種摘要技術時，始終將這種簡單方法作為基準。有趣的是，在某些新聞資料集上，這種簡單方法的表現甚至可以超過一些複雜的神經網路模型，這提醒我們在追求複雜解決方案前要充分評估簡單方法的效果。

GPT-2的摘要能力

GPT-2雖然主要設計用於文字生成，但它也展現了令人驚訝的摘要能力。透過在輸入文字末尾增加"TL;DR”（太長不讀）提示，我們可以引導模型生成摘要。這種方法源自Reddit等平台的常見做法，使用者在長帖子後增加TL;DR來提供簡短版本。

CODE_BLOCK_23

這段程式碼展示了GPT-2用於摘要的創新方法。我們使用__INLINE_CODE_33__管道載入GPT-2-xl模型，然後在輸入文字後增加”\nTL;DR:\n"提示，引導模型生成摘要。

關鍵部分是如何從生成的文字中提取摘要 - 透過切片去除原始查詢部分，只保留模型生成的新內容。這種方法的巧妙之處在於，它不需要專門為摘要任務微調模型，而是利用模型在預訓練中可能遇到的"TL;DR"模式來引導生成。

當我首次嘗試這種方法時，對其效果感到驚訝。GPT-2雖然沒有專門針對摘要任務訓練，但透過適當的提示工程，它能產生相當不錯的摘要。這展示了大模型語言的泛化能力和提示工程的重要性。

T5模型的文字摘要應用

T5（Text-to-Text Transfer Transformer）採用了一種通用的文字到文字框架，將所有NLP任務都統一為文字到文字的轉換。T5模型在大量無監督資料（重建遮蔽詞）和多種任務的監督資料上訓練，包括摘要任務。

使用T5進行摘要的輸入格式是"summarize:

pipe = pipeline("summarization", model="t5-large")
pipe_out = pipe(sample_text)
summaries["t5"] = "\n".join(sent_tokenize(pipe_out[0]["summary_text"]))

pipe = pipeline("summarization", model="facebook/bart-large-cnn")
pipe_out = pipe(sample_text)
summaries["bart"] = "\n".join(sent_tokenize(pipe_out[0]["summary_text"]))

pipe = pipeline("summarization", model="google/pegasus-cnn_dailymail")
pipe_out = pipe(sample_text)
summaries["pegasus"] = pipe_out[0]["summary_text"].replace(" .<n>", ".\n")

print("GROUND TRUTH")
print(dataset["train"][1]["highlights"])
print("")
for model_name in summaries:
    print(model_name.upper())
    print(summaries[model_name])
    print("")

Usain Bolt wins third gold of world championship.
Anchors Jamaica to 4x100m relay victory.
Eighth gold at the championships for Bolt.
Jamaica double up in women's 4x100m relay.

(CNN) -- Usain Bolt rounded off the world championships Sunday by claiming his third gold in Moscow as he anchored Jamaica to victory in the men's 4x100m relay.
The fastest man in the world charged clear of United States rival Justin Gatlin as the Jamaican quartet of Nesta Carter, Kemar Bailey-Cole, Nickel Ashmeade and Bolt won in 37.36 seconds.

def summarize_long_text(text, max_length=1000, model="google/pegasus-cnn_dailymail"):
    # 分割文字為多個段落
    paragraphs = [text[i:i+max_length] for i in range(0, len(text), max_length)]
    
    # 為每個段落生成摘要
    pipe = pipeline("summarization", model=model)
    paragraph_summaries = [pipe(p)[0]["summary_text"] for p in paragraphs]
    
    # 合併段落摘要
    combined_summary = " ".join(paragraph_summaries)
    
    # 對合併後的摘要再次摘要，生成最終結果
    final_summary = pipe(combined_summary)[0]["summary_text"]
    
    return final_summary

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

def extract_and_summarize(text, n_sentences=10, model="facebook/bart-large-cnn"):
    # 分割為句子
    sentences = sent_tokenize(text)
    
    # 使用TF-IDF識別關鍵句
    vectorizer = TfidfVectorizer()
    tfidf_matrix = vectorizer.fit_transform(sentences)
    sentence_scores = np.array(tfidf_matrix.sum(axis=1)).flatten()
    top_indices = sentence_scores.argsort()[-n_sentences:][::-1]
    
    # 按原順序排列關鍵句
    key_sentences = [sentences[i] for i in sorted(top_indices)]
    key_text = " ".join(key_sentences)
    
    # 對關鍵句進行摘要
    pipe = pipeline("summarization", model=model)
    summary = pipe(key_text)[0]["summary_text"]
    
    return summary

from rouge import Rouge

def evaluate_summary(generated, reference):
    rouge = Rouge()
    scores = rouge.get_scores(generated, reference)
    return scores[0]