NLTK語料函式庫操作與條件頻率分佈

– 10 分鐘閱讀

NLTK 提供了便捷的語料庫存取介面和豐富的內建資源，方便進行文字分析和語言模型訓練。透過 PlaintextCorpusReader 和 BracketParseCorpusReader，開發者可以輕鬆載入自定義或特定格式的語料函式庫，例如 Penn Treebank。條件頻率分佈是 NLTK 中強大的分析工具，可以統計不同條件下的詞彙分佈，例如不同語言的詞長分佈或特定詞彙在不同文體中的出現頻率。藉由 ConditionalFreqDist，我們可以建立條件頻率分佈，並使用 tabulate 和 plot 方法進行視覺化分析，進而理解文字資料的特性。此外，結合二元組模型和條件頻率分佈，還能生成具有特定風格的隨機文字。

圖表翻譯：

圖2-2展示了六種語言的世界人權宣言的累積詞長分佈情況。從圖中可以看出，不同語言中詞長的分佈有明顯差異。例如，在Ibibio文字中，約80%的詞語長度小於或等於5個字母，而在德語文字中，這一比例約為60%，在因紐特語文字中則約為25%。

圖表翻譯：

圖2-3展示了常見的語料函式庫結構，包括簡單的文字集合、按型別分類別的語料函式庫、具有重疊分類別的語料函式庫以及具有時間結構的語料函式庫。這些結構反映了不同應用場景下對文字資料的不同組織方式。

總之，本章介紹瞭如何使用NLTK存取和處理多種語言的語料函式庫，包括如何使用條件頻率分佈比較不同語言的詞長，以及如何使用NLTK的語料函式庫讀取器存取各種語料函式庫。同時，也介紹了常見的語料函式庫結構和NLTK提供的基礎語料函式庫功能。這些知識和技能對於進行自然語言處理研究和應用具有重要的意義。

存取文字語料函式庫與詞彙資源

在自然語言處理（NLP）領域，語料函式庫（Corpus）扮演著至關重要的角色。語料函式庫是一批經過組織的文字資料集合，用於支援語言學研究、語言模型訓練以及各種NLP任務的開展。NLTK（Natural Language Toolkit）提供了豐富的語料函式庫資源和靈活的存取介面，使研究人員和開發者能夠方便地處理和分析文字資料。

存取文字語料函式庫

NLTK內建了多種語料函式庫，包括Gutenberg語料函式庫、Brown語料函式庫、Reuters語料函式庫等。這些語料函式庫包含了不同風格、不同主題的文字資料，為NLP研究提供了豐富的資源。

載入Gutenberg語料函式庫

Gutenberg語料函式庫包含了超過6萬本免費電子書，主要來自Project Gutenberg。以下程式碼展示瞭如何使用NLTK存取Gutenberg語料函式庫：

import nltk
from nltk.corpus import gutenberg

# 檢視Gutenberg語料函式庫中的檔案ID
print(gutenberg.fileids())

# 取得特定文字的句子
sents = gutenberg.sents("burgess-busterbrown.txt")
print(sents[1:20])

載入自定義語料函式庫

除了使用NLTK內建的語料函式庫外，還可以載入自定義的語料函式庫。NLTK提供了PlaintextCorpusReader類別，用於讀取純文字格式的語料函式庫。

from nltk.corpus import PlaintextCorpusReader

# 設定語料函式庫根目錄
corpus_root = '/usr/share/dict'

# 建立PlaintextCorpusReader例項
wordlists = PlaintextCorpusReader(corpus_root, '.*')

# 檢視語料函式庫中的檔案ID
print(wordlists.fileids())

# 取得特設定檔案的詞彙
print(wordlists.words('connectives'))

載入Penn Treebank語料函式庫

Penn Treebank是一個著名的句法註解語料函式庫，NLTK提供了BracketParseCorpusReader類別來存取它。

from nltk.corpus import BracketParseCorpusReader

# 設定語料函式庫根目錄
corpus_root = r"C:\corpora\penntreebank\parsed\mrg\wsj"

# 設定檔案匹配模式
file_pattern = r".*/wsj_.*\.mrg"

# 建立BracketParseCorpusReader例項
ptb = BracketParseCorpusReader(corpus_root, file_pattern)

# 檢視語料函式庫中的檔案ID
print(ptb.fileids())

# 取得特設定檔案的句子
print(ptb.sents(fileids='20/wsj_2013.mrg')[19])

條件頻率分佈

條件頻率分佈（Conditional Frequency Distribution, CFD）是一種特殊的資料結構，用於統計不同條件下的事件頻率。在NLP中，條件頻率分佈常用於比較不同類別文字中的詞彙分佈。

建立條件頻率分佈

以下程式碼展示瞭如何使用NLTK的ConditionalFreqDist類別建立條件頻率分佈：

import nltk
from nltk.corpus import brown

# 建立條件頻率分佈
cfd = nltk.ConditionalFreqDist(
    (genre, word)
    for genre in brown.categories()
    for word in brown.words(categories=genre)
)

# 檢視條件頻率分佈中的條件
print(cfd.conditions())

# 取得特定條件下的頻率分佈
print(cfd['news'])
print(cfd['romance'])

# 取得特定詞彙在特定條件下的頻率
print(cfd['romance']['could'])

繪製和製表條件頻率分佈

條件頻率分佈提供了多種方法，用於視覺化和統計分析。

# 繪製條件頻率分佈圖表
cfd.plot()

# 製表條件頻率分佈
cfd.tabulate()
內容解密：

本章節主要介紹了NLTK中語料函式庫的存取方法和條件頻率分佈的使用。首先，我們瞭解瞭如何使用NLTK存取內建的Gutenberg語料函式庫和載入自定義的純文字語料函式庫。接著，我們學習瞭如何使用BracketParseCorpusReader存取Penn Treebank語料函式庫。然後，我們探討了條件頻率分佈的概念和實作方法，包括如何建立條件頻率分佈、取得特定條件下的頻率分佈以及繪製和製表條件頻率分佈。最後，我們總結了本章節的主要內容和技術要點。

隨著NLP技術的不斷發展，語料函式庫和詞彙資源的重要性日益凸顯。未來，我們可以期待更多高品質、多樣化的語料函式庫資源出現，以支援更廣泛的NLP應用。同時，條件頻率分佈等技術也將繼續演進，為NLP研究提供更有力的工具。

內容解密：

本段落主要討論了NLP領域未來的發展趨勢，特別是語料函式庫和詞彙資源的重要性和未來展望。首先，我們指出了隨著NLP技術的發展，語料函式庫和詞彙資源將扮演越來越重要的角色。接著，我們預測未來將會有更多高品質、多樣化的語料函式庫資源出現，以滿足不斷增長的NLP應用需求。最後，我們強調了條件頻率分佈等技術將繼續演進，為NLP研究提供更有力的支援。

  graph LR;
    A[開始] --> B{檢查語料函式庫};
    B -->|內建語料函式庫| C[載入Gutenberg語料函式庫];
    B -->|自定義語料函式庫| D[載入自定義語料函式庫];
    C --> E[存取文字資料];
    D --> E;
    E --> F[建立條件頻率分佈];
    F --> G[分析詞彙分佈];
    G --> H[視覺化結果];

圖表翻譯： 此圖示展示了使用NLTK處理文字資料的基本流程。首先，檢查可用的語料函式庫資源，包括內建的Gutenberg語料函式庫和自定義的語料函式庫。接著，載入相應的語料函式庫並存取其中的文字資料。然後，建立條件頻率分佈以分析不同類別文字中的詞彙分佈。最後，將分析結果視覺化，以直觀地呈現詞彙分佈的特點和差異。

實踐建議

  1. 探索更多NLTK內建語料函式庫：NLTK提供了豐富的內建語料函式庫資源，包括Gutenberg、Brown、Reuters等。建議讀者嘗試存取和使用這些語料函式庫，以加深對NLTK功能的理解。
  2. 嘗試載入自定義語料函式庫：讀者可以嘗試收集自己的文字資料，並使用NLTK的PlaintextCorpusReader或BracketParseCorpusReader載入和分析這些資料。
  3. 深入研究條件頻率分佈：條件頻率分佈是NLP中一個非常有用的工具。建議讀者進一步探索其在不同NLP任務中的應用，如文字分類別、情感分析和語言模型訓練等。
  4. 視覺化結果：視覺化是理解和分析NLP結果的重要手段。建議讀者嘗試使用不同的視覺化工具和技術，如matplotlib、seaborn等，以更好地呈現分析結果。

透過實踐這些建議，讀者可以更深入地理解NLTK的功能和NLP技術的應用，為未來在NLP領域的研究和開發奠定堅實的基礎。

內容解密：

本段落主要提供了一些實踐建議，以幫助讀者更好地理解和應用NLTK和NLP技術。首先，我們建議讀者探索更多NLTK內建的語料函式庫資源，以充分利用NLTK的功能。接著，我們鼓勵讀者嘗試載入和分析自定義的文字資料，以滿足特定的研究或應用需求。然後，我們強調了深入研究條件頻率分佈的重要性，並建議讀者探索其在不同NLP任務中的應用。最後，我們建議讀者使用視覺化技術來呈現分析結果，以更好地理解和解釋NLP結果。

條件頻率分佈的深入解析與應用

條件頻率分佈（Conditional Frequency Distributions）是自然語言處理中的重要工具，用於分析不同條件下詞語或其他語言單位的頻率分佈情況。本文將詳細介紹條件頻率分佈的概念、實作方法及其在文字分析中的應用。

條件頻率分佈的基本概念

條件頻率分佈是一種特殊的頻率分佈，它允許我們根據特定的條件對資料進行分類別和統計。在NLTK函式庫中，nltk.ConditionalFreqDist類別提供了一個強大的工具來建立和分析條件頻率分佈。

語言資料的條件分析

在文字分析中，我們經常需要根據特定的條件來統計詞語的出現頻率。例如，在不同的演講中統計特定詞語的出現次數，或在不同語言的文字中分析詞長的分佈情況。條件頻率分佈為這些任務提供了便捷的解決方案。

實作條件頻率分佈的程式碼解析

程式碼範例1：分析特定詞語在不同演講中的出現頻率

>>> from nltk.corpus import inaugural
>>> cfd = nltk.ConditionalFreqDist(
...     (target, fileid[:4])
...     for fileid in inaugural.fileids()
...     for w in inaugural.words(fileid)
...     for target in ['america', 'citizen']
...     if w.lower().startswith(target))

內容解密：

  1. 程式碼首先匯入了NLTK函式庫中的inaugural語料函式庫，該語料函式庫包含了歷屆美國總統就職演說的文字。
  2. 使用nltk.ConditionalFreqDist建立了一個條件頻率分佈物件cfd。
  3. 條件是特定的詞語（‘america’或’citizen’），而樣本是演講的年份（從檔名中提取）。
  4. 程式碼遍歷了所有演講檔案，統計了目標詞語在每個檔案中出現的次數。

程式碼範例2：分析不同語言的詞長分佈

>>> from nltk.corpus import udhr
>>> languages = ['Chickasaw', 'English', 'German_Deutsch',
...              'Greenlandic_Inuktikut', 'Hungarian_Magyar', 'Ibibio_Efik']
>>> cfd = nltk.ConditionalFreqDist(
...     (lang, len(word))
...     for lang in languages
...     for word in udhr.words(lang + '-Latin1'))

內容解密：

  1. 程式碼匯入了udhr語料函式庫，該語料函式庫包含了多種語言的人權宣言文字。
  2. 定義了一個包含多種語言名稱的列表languages。
  3. 使用nltk.ConditionalFreqDist建立了條件頻率分佈，條件是語言名稱，樣本是詞長。
  4. 程式碼統計了不同語言文字中詞語的長度分佈情況。

條件頻率分佈的視覺化與分析

表格化輸出

>>> cfd.tabulate(conditions=['English', 'German_Deutsch'],
...              samples=range(10), cumulative=True)

內容解密：

  1. 使用tabulate方法輸出了英語和德語文字中詞長的累積頻率分佈。
  2. conditions引數指定了要顯示的語言，samples引數限制了詞長的範圍。
  3. cumulative=True表示輸出累積頻率。

圖形化展示

>>> cfd.plot(conditions=['English', 'German_Deutsch'],
...          samples=range(10), cumulative=True)

內容解密：

  1. 使用plot方法繪製了英語和德語文字中詞長的累積頻率分佈圖。
  2. 圖形化展示可以更直觀地比較不同語言的詞長分佈特徵。

實際應用：分析布朗語料函式庫中的新聞與浪漫類別

任務描述

使用布朗語料函式庫中的新聞和浪漫類別文字，分析一週中哪些日子最常被提及。

程式碼實作

from nltk.corpus import brown

days = ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']

cfd = nltk.ConditionalFreqDist(
    (genre, day)
    for genre in ['news', 'romance']
    for word in brown.words(categories=genre)
    for day in days
    if day.lower() in word.lower())

cfd.tabulate(conditions=['news', 'romance'], samples=days)
cfd.plot(conditions=['news', 'romance'], samples=days)

內容解密：

  1. 程式碼首先匯入了布朗語料函式庫，並定義了一週七天的列表。
  2. 使用條件頻率分佈統計了新聞和浪漫類別文字中一週七天的提及頻率。
  3. 分別使用表格和圖形展示了結果，可以直觀地比較不同類別文字中一週七天的分佈差異。

使用二元組生成隨機文字

二元組的概念

二元組（bigrams）是指文字中相鄰的兩個詞構成的序列。使用二元組可以建立詞語之間的轉移機率模型，從而生成隨機文字。

程式碼範例：生成二元組

>>> sent = ['In', 'the', 'beginning', 'God', 'created', 'the', 'heaven',
...         'and', 'the', 'earth', '.']
>>> nltk.bigrams(sent)
[('In', 'the'), ('the', 'beginning'), ('beginning', 'God'), ('God', 'created'),
 ('created', 'the'), ('the', 'heaven'), ('heaven', 'and'), ('and', 'the'),
 ('the', 'earth'), ('earth', '.')]

內容解密：

  1. 程式碼定義了一個句子列表sent。
  2. 使用nltk.bigrams函式生成了該句子的二元組序列。

根據二元組的文字生成模型

def generate_model(cfdist, word, num=15):
    for i in range(num):
        print(word, end=' ')
        word = cfdist[word].max()

# 示例用法
bigrams = nltk.bigrams(inaugural.words())
cfd = nltk.ConditionalFreqDist(bigrams)
generate_model(cfd, 'living')

內容解密：

  1. generate_model函式接受一個條件頻率分佈物件、一個起始詞和一個數字（指定生成多少個詞）。
  2. 函式迴圈列印當前詞，並根據條件頻率分佈選擇下一個最可能的詞。
  3. 示例用法中，首先從就職演說語料函式庫中生成二元組，然後根據這些二元組建立條件頻率分佈，最後使用’living’作為起始詞生成隨機文字。

條件頻率分佈處理流程圖

  graph TD;
    A[載入語料函式庫] --> B[建立條件頻率分佈];
    B --> C[選擇條件和樣本];
    C --> D[計算頻率];
    D --> E[視覺化結果];
    E --> F[分析結果];

圖表翻譯： 此圖示展示了使用條件頻率分佈進行文字分析的基本流程。首先載入所需的語料函式庫，然後建立條件頻率分佈。接著選擇特定的條件和樣本進行分析，計算相應的頻率。最後將結果視覺化，並進行深入分析。整個流程清晰地展示了從資料準備到結果解讀的完整過程。

參考資料

  • NLTK官方檔案：https://www.nltk.org/book/
  • 布朗語料函式庫介紹：https://www.nltk.org/nltk_data/
  • 就職演說語料函式庫介紹：https://www.nltk.org/nltk_data/

文章總字數：9,547字

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。