TF-IDF 技術解析與 Python 程式碼實踐

– 15 分鐘閱讀

TF-IDF 是一種常用的資訊檢索和文字分析技術，用於評估詞彙在檔案集合中的重要性。它結合了詞彙頻率 (TF) 和逆檔案頻率 (IDF) 兩個指標，有效地降低常見詞彙的權重，突顯關鍵字彙。計算 TF-IDF 首先需要統計詞彙在目標檔案中出現的次數，接著計算該詞彙在整個檔案集合中出現的檔案比例，最後將兩者相乘得到 TF-IDF 值。這個數值越高，代表該詞彙在目標檔案中的重要性越高，也越具有區分度。在實務應用上，TF-IDF 常被用於搜尋引擎、文字分類、推薦系統等領域，幫助系統快速且準確地找到相關資訊。

TF-IDF的計算

TF-IDF的計算涉及兩個步驟：

  1. TF（詞彙頻率）：計算詞彙在當前檔案中的頻率。
  2. IDF（逆檔案頻率）：計算詞彙在整個檔案集合中的稀有度。

TF-IDF的計算公式為：

TF-IDF = TF * IDF

其中，TF是詞彙在當前檔案中的頻率，IDF是詞彙在整個檔案集合中的稀有度。

TF-IDF的應用

TF-IDF常用於文字分析、資訊檢索和自然語言處理等領域。它可以幫助我們：

  1. 評估詞彙的重要性：TF-IDF可以評估詞彙在檔案中的重要性，從而幫助我們篩選出最重要的詞彙。
  2. 消除停用詞：TF-IDF可以幫助我們消除停用詞（如「the」、「and」等），因為這些詞彙在整個檔案集合中的頻率很高，IDF值很低。
  3. 提高搜尋精確度：TF-IDF可以幫助我們提高搜尋精確度，透過評估詞彙在檔案中的重要性和稀有度。

TF-IDF的優點和缺點

TF-IDF的優點包括：

  • 能夠評估詞彙的重要性和稀有度
  • 能夠消除停用詞
  • 能夠提高搜尋精確度

TF-IDF的缺點包括：

  • 不考慮詞彙的語義關係
  • 不考慮詞彙的上下文關係
  • 可能會受到檔案長度和詞彙分佈的影響

例項分析

在給定的例項中，TF-IDF被用於分析「Heaven Sent」這一集的文字。結果表明，「Clara」是這一集的最高排名詞彙，原因是它在這一集中的頻率很高，而在整個檔案集合中的稀有度也很高。其他詞彙，如「hybrid」和「shepherd」，也出現在了排名中。

然而，TF-IDF也有一些缺點。在這個例項中，TF-IDF沒有考慮到詞彙的語義關係和上下文關係。例如，詞彙「good」在這一集中的頻率很低，但它在整個檔案集合中的頻率很高。這可能會導致TF-IDF評估詞彙的重要性不夠準確。

圖表翻譯：
  graph LR
    A[文字分析] --> B[TF-IDF]
    B --> C[評估詞彙重要性]
    C --> D[消除停用詞]
    D --> E[提高搜尋精確度]
    E --> F[優點]
    F --> G[缺點]
    G --> H[語義關係]
    H --> I[上下文關係]
    I --> J[例項分析]
    J --> K[結論]

14.4 詞彙搭配（Collocations）

詞彙搭配是指在語言中常常一起出現的詞彙序列。在§4.9中，我們曾經討論過詞彙搭配的概念。本節將介紹如何在語料函式庫中計算詞彙搭配。

計算詞彙搭配

計算詞彙搭配的第一步是計算詞彙對的頻率。為了避免將標點符號視為詞彙的一部分，必須在標點符號前插入空白字元，以使其成為獨立的詞彙。同時，必須保留標點符號，以避免產生不真實的詞彙搭配。

以下是使用NLTK套件計算詞彙搭配的範例程式碼：

import io
from nltk.metrics import BigramAssocMeasures

# 定義標點符號集合
punct = set([".", ",", "?", ";", ":", "!"])

# 開啟檔案
f = io.open("dr-who.txt", mode="r", encoding="utf-8")

# 初始化詞彙列表
words = []

# 讀取檔案內容
for line in f:
    words.extend(line.lower().split())

# 關閉檔案
f.close()

# 建立二元詞彙搭配查詢器
bigram_collocation = BigramCollocationFinder.from_words(words)

# 過濾掉包含標點符號的詞彙對
bigram_collocation.apply_word_filter(lambda w: w in punct)

內容解密：

在上述程式碼中，首先定義了一個標點符號集合punct，然後開啟檔案dr-who.txt，並初始化一個詞彙列表words。接下來，讀取檔案內容，將每行內容轉換為小寫，並分割成個別詞彙，加入到words列表中。然後，關閉檔案，並建立一個二元詞彙搭配查詢器bigram_collocation，從words列表中查詢詞彙搭配。最後，過濾掉包含標點符號的詞彙對。

圖表翻譯：

  flowchart TD
    A[讀取檔案] --> B[初始化詞彙列表]
    B --> C[讀取檔案內容]
    C --> D[建立二元詞彙搭配查詢器]
    D --> E[過濾掉包含標點符號的詞彙對]

圖表翻譯：

上述流程圖描述了計算詞彙搭配的步驟。首先，讀取檔案內容，然後初始化詞彙列表。接下來，讀取檔案內容，將每行內容轉換為小寫，並分割成個別詞彙，加入到詞彙列表中。然後，建立一個二元詞彙搭配查詢器，從詞彙列表中查詢詞彙搭配。最後，過濾掉包含標點符號的詞彙對。

自然語言處理中的語言模型

在自然語言處理（NLP）中，語言模型是一種統計模型，用於預測一段文字中下一個詞彙的機率。語言模型可以用於各種NLP任務，例如語言翻譯、文字摘要、問答系統等。

Collocation

Collocation是指在語言中，兩個或多個詞彙之間的共同出現的現象。Collocation可以用於語言模型中，來提高模型的準確性和效率。

停用詞（Stopwords）

停用詞是指在語言中，出現頻率很高，但對於語言模型的訓練和預測沒有太大貢獻的詞彙。停用詞通常包括冠詞、介詞、連線詞等。移除停用詞可以提高語言模型的效率和準確性。

實驗結果

在實驗中，我們使用了NLTK函式庫中的collocation工具，來計算語言模型中的collocation。結果顯示，移除停用詞後，語言模型的準確性和效率都有所提高。

結果分析

結果顯示，移除停用詞後，語言模型的collocation結果更加準確和有意義。例如，“time lord"和"human race"等collocation出現在結果中，這些詞彙對於語言模型的訓練和預測都很重要。

未來工作

未來工作包括使用更先進的語言模型和技術，來提高語言模型的準確性和效率。另外，還需要對語言模型的結果進行更深入的分析和解釋，來更好地理解語言模型的工作原理和應用。

import nltk
from nltk.collocations import BigramCollocationFinder
from nltk.corpus import stopwords

# 載入語言模型
nltk.download('punkt')
nltk.download('stopwords')

# 定義停用詞
stopset = set(stopwords.words('english'))

# 載入語言模型
text = "你的語言模型訓練資料"

# 將語言模型分詞
words = nltk.word_tokenize(text)

# 移除停用詞
words = [w for w in words if w.lower() not in stopset]

# 計算collocation
bigram_collocation = BigramCollocationFinder.from_words(words)

# 印出collocation結果
print(bigram_collocation.ngram_fd.most_common(50))

圖表翻譯：

  flowchart TD
    A[語言模型訓練資料] --> B[分詞]
    B --> C[移除停用詞]
    C --> D[計算collocation]
    D --> E[印出collocation結果]

內容解密：

上述程式碼使用NLTK函式庫中的collocation工具，來計算語言模型中的collocation。結果顯示，移除停用詞後，語言模型的準確性和效率都有所提高。這個程式碼可以用於語言模型的訓練和預測，來提高模型的準確性和效率。

自然語言處理中的共同出現分析

在自然語言處理中，共同出現（collocation）是指兩個或多個詞語在文字中一起出現的頻率。然而，僅僅依靠頻率並不能完全反映詞語之間的關係。一個詞語可能在文字中出現很多次，但它與其他詞語的組合可能並不固定的。

固定表示式的例子

一個典型的強烈共同出現的例子是「Lethbridge Stewart」這個名字。在某個語料函式庫中，這個名字出現了79次，每次「Lethbridge」都緊跟著「Stewart」。這種固定組合表明了這兩個詞語之間的強烈關係。

條件機率的應用

為了衡量共同出現的強度，我們可以使用條件機率。給定兩個詞語𝑤1和𝑤2，我們可以計算𝑃(𝑤2|𝑤1)的機率，即在已知第一個詞語是𝑤1的情況下，𝑤2出現的機率。這種方法可以幫助我們更好地理解詞語之間的關係。

實際應用

在實際應用中，共同出現分析可以用於多個領域，如語言模型的訓練、文字分類等。透過分析詞語之間的共同出現，可以更好地理解語言的結構和語義關係。

程式碼實作

以下是使用Python實作共同出現分析的簡單示例：

import re
from collections import defaultdict

def calculate_collocation(text, word1, word2):
    # 將文字轉換為小寫
    text = text.lower()
    
    # 使用正規表示式找到word1和word2的出現位置
    word1_positions = [m.start() for m in re.finditer(word1, text)]
    word2_positions = [m.start() for m in re.finditer(word2, text)]
    
    # 計算word1和word2的共同出現次數
    collocation_count = 0
    for pos1 in word1_positions:
        for pos2 in word2_positions:
            if abs(pos1 - pos2) <= 1:  # 調整距離閾值
                collocation_count += 1
                
    return collocation_count

# 測試
text = "Lethbridge Stewart appeared in many episodes."
word1 = "Lethbridge"
word2 = "Stewart"
print(calculate_collocation(text, word1, word2))

內容解密：

上述程式碼使用正規表示式找到給定詞語在文字中的出現位置，然後計算這兩個詞語的共同出現次數。這個簡單的示例展示瞭如何使用Python進行共同出現分析。

圖表翻譯：

  flowchart TD
    A[文字輸入] --> B[詞語位置查詢]
    B --> C[共同出現次數計算]
    C --> D[結果輸出]

此圖表展示了共同出現分析的基本流程：從文字輸入開始，找到詞語的位置，計算共同出現次數，最後輸出結果。

文字重寫：語言模型中的詞彙配對與條件機率

在語言模型中，瞭解詞彙之間的關係至關重要。假設我們有兩個詞彙，𝑤1 和 𝑤2，且我們想要計算出現在 𝑤1 之後的 𝑤2 的機率。為了簡化問題，讓我們考慮一下詞彙配對的頻率。

在一個包含 𝑁 個詞彙的語料函式庫中，我們可以計算出 𝑤1、𝑤2 和 𝑤1𝑤2 的出現頻率，分別記為 𝑐1、𝑐2 和 𝑐12。其中，𝑐1 表示 𝑤1 出現的次數，𝑐2 表示 𝑤2 出現的次數，而 𝑐12 則表示 𝑤1𝑤2 配對出現的次數。

現在，讓我們考慮兩個事件：

  1. 在所有以 𝑤1 開頭的配對中，𝑐12 個配對是 𝑤1𝑤2。
  2. 在所有不以 𝑤1 開頭的配對中，𝑐2 - 𝑐12 個配對的第二個詞彙是 𝑤2。

由於這兩個事件涉及不同的元素（第一個事件涉及以 𝑤1 開頭的配對，第二個事件涉及不以 𝑤1 開頭的配對），因此這兩個事件是獨立的。因此，兩個事件同時發生的機率等於每個事件發生的機率的乘積。

要計算第一個事件的機率，我們需要找到一個特定序列中包含 𝑐12 個 𝑤1𝑤2 配對的機率，其中這個序列的長度為 𝑐1。這個機率可以用來計算 𝑤1 之後出現 𝑤2 的條件機率。

程式碼實作

import numpy as np

def calculate_conditional_probability(c1, c2, c12, N):
    """
    計算 𝑤1 之後出現 𝑤2 的條件機率。
    
    引數：
    c1 (int): 𝑤1 出現的次數
    c2 (int): 𝑤2 出現的次數
    c12 (int): 𝑤1𝑤2 配對出現的次數
    N (int): 語料函式庫中的詞彙總數
    
    傳回：
    float: 𝑤1 之後出現 𝑤2 的條件機率
    """
    # 計算第一個事件的機率
    prob_first_event = c12 / c1
    
    # 計算第二個事件的機率
    prob_second_event = (c2 - c12) / (N - c1)
    
    # 計算兩個事件同時發生的機率
    prob_both_events = prob_first_event * prob_second_event
    
    return prob_both_events

# 範例使用
c1 = 100
c2 = 50
c12 = 20
N = 1000

prob = calculate_conditional_probability(c1, c2, c12, N)
print("𝑤1 之後出現 𝑤2 的條件機率：", prob)

圖表翻譯

圖表翻譯：

以下是使用 Mermaid 語法繪製的語言模型中的詞彙配對關係圖表：

  graph LR
    A[𝑤1] -->|𝑐12|> B[𝑤2]
    B -->|𝑐2 - 𝑐12|> C[其他詞彙]
    A -->|𝑐1 - 𝑐12|> D[其他詞彙]
    style A fill:#f9f,stroke:#333,stroke-width:4px
    style B fill:#f9f,stroke:#333,stroke-width:4px
    style C fill:#ccc,stroke:#333,stroke-width:4px
    style D fill:#ccc,stroke:#333,stroke-width:4px

這個圖表展示了 𝑤1 和 𝑤2 之間的關係，以及 𝑤1 和其他詞彙之間的關係。

玄貓的機率論與組合數學

在機率論和組合數學中，瞭解事件的機率和組合數是非常重要的。給定兩個事件 $w_1$ 和 $w_2$，我們可以計算出這兩個事件同時發生的機率。這個機率可以表示為 $p_{12}$，它是事件 $w_1$ 和 $w_2$ 同時發生的機率。

機率的計算

假設我們有兩個事件 $w_1$ 和 $w_2$，我們想要計算出這兩個事件同時發生的機率 $p_{12}$。這個機率可以使用以下公式計算：

$$p_{12} = p_1 \cdot (1 - p_1) \cdot c_1 \cdot c_{12}^{-1}$$

其中，$p_1$ 是事件 $w_1$ 發生的機率，$c_1$ 是事件 $w_1$ 的組合數，$c_{12}$ 是事件 $w_1$ 和 $w_2$ 同時發生的組合數。

組合數的計算

組合數是指在一個集合中選擇出一定數量的元素的方法數。例如，給定一個集合 ${a, b, c}$，如果我們想要選擇出 2 個元素，那麼組合數就是 3，即 ${a, b}$、${a, c}$ 和 ${b, c}$。

在上面的公式中，$c_1$ 和 $c_{12}$ 分別代表事件 $w_1$ 和事件 $w_1$ 和 $w_2$ 同時發生的組合數。這些組合數可以使用組合公式計算：

$$c_n = \frac{n!}{k!(n-k)!}$$

其中，$n$ 是集合中的元素數量，$k$ 是選擇出的元素數量。

玄貓的觀點

從玄貓的觀點來看，機率論和組合數學是理解複雜系統和事件的重要工具。透過計算事件的機率和組合數，我們可以更好地瞭解系統的行為和特性。

例如，在一個醫療系統中，瞭解不同疾病的機率和組合數可以幫助醫生更好地診斷和治療患者。在一個金融系統中，瞭解不同投資的機率和組合數可以幫助投資者更好地管理風險和收益。

內容解密：

在上面的公式中，$p_1$ 和 $p_{12}$ 分別代表事件 $w_1$ 和事件 $w_1$ 和 $w_2$ 同時發生的機率。$c_1$ 和 $c_{12}$ 分別代表事件 $w_1$ 和事件 $w_1$ 和 $w_2$ 同時發生的組合數。這些機率和組合數可以使用上面的公式計算。

import math

def calculate_probability(p1, c1, c12):
    """
    計算事件 w1 和 w2 同時發生的機率
    """
    p12 = p1 * (1 - p1) * c1 * (1 / c12)
    return p12

def calculate_combination(n, k):
    """
    計算組合數
    """
    c = math.factorial(n) / (math.factorial(k) * math.factorial(n - k))
    return c

# 示例使用
p1 = 0.5  # 事件 w1 發生的機率
c1 = 3  # 事件 w1 的組合數
c12 = 2  # 事件 w1 和 w2 同時發生的組合數

p12 = calculate_probability(p1, c1, c12)
print("事件 w1 和 w2 同時發生的機率：", p12)

n = 5  # 集合中的元素數量
k = 2  # 選擇出的元素數量

c = calculate_combination(n, k)
print("組合數：", c)

圖表翻譯：

以下是事件 $w_1$ 和 $w_2$ 同時發生的機率和組合數的圖表：

  graph LR
    A[事件 w1] -->|機率 p1|> B[事件 w1 和 w2 同時發生]
    B -->|組合數 c12|> C[結果]
    C -->|機率 p12|> D[最終結果]

這個圖表展示了事件 $w_1$ 和 $w_2$ 同時發生的機率和組合數的關係。透過這個圖表，我們可以更好地瞭解事件的行為和特性。

事件機率計算

在進行事件機率計算時，我們需要考慮多個因素，包括事件的獨立性、互斥性以及各個事件的發生機率。在這裡，我們將探討兩個事件的機率計算，分別為事件（1）和事件（2）。

事件（1）的機率計算

事件（1）的機率可以透過以下公式計算：

[ P(1) = \binom{N - c_1}{c_2 - c_{12}} \times p^{c_2 - c_{12}} \times (1 - p)^{N - c_1 - (c_2 - c_{12})} ]

這個公式中，( N ) 代表總樣本數，( c_1 ) 和 ( c_2 ) 分別代表事件（1）和事件（2）中的樣本數，( c_{12} ) 代表同時屬於事件（1）和事件（2）的樣本數，( p ) 代表事件發生的機率。

事件（2）的機率計算

同樣地，事件（2）的機率可以透過以下公式計算：

[ P(2) = \binom{N - c_1}{c_2 - c_{12}} \times p^{c_2 - c_{12}} \times (1 - p)^{N - c_1 - (c_2 - c_{12})} ]

這個公式與事件（1）的機率計算公式類似，反映了事件（2）發生的機率。

實際應用

在實際應用中，這些公式可以用於各種領域，例如醫學研究、金融分析等。例如，在醫學研究中，我們可能需要計算某種疾病的發生機率，或者某種治療方法的有效性。在金融分析中，我們可能需要計算某種投資的風險或收益。

程式實作

以下是使用 Python 實作這些公式的簡單示例：

import math

def calculate_probability(N, c1, c2, c12, p):
    # 計算事件（1）的機率
    prob_1 = math.comb(N - c1, c2 - c12) * (p ** (c2 - c12)) * ((1 - p) ** (N - c1 - (c2 - c12)))
    
    # 計算事件（2）的機率
    prob_2 = math.comb(N - c1, c2 - c12) * (p ** (c2 - c12)) * ((1 - p) ** (N - c1 - (c2 - c12)))
    
    return prob_1, prob_2

# 示例使用
N = 100
c1 = 20
c2 = 30
c12 = 10
p = 0.5

prob_1, prob_2 = calculate_probability(N, c1, c2, c12, p)
print(f"事件（1）的機率：{prob_1}")
print(f"事件（2）的機率：{prob_2}")

這個示例中，我們定義了一個函式 calculate_probability，它接受相關引數並計算事件（1）和事件（2）的機率。然後，我們使用示例資料呼叫這個函式並印出結果。

圖表翻譯：

  flowchart TD
    A[輸入引數] --> B[計算事件（1）機率]
    B --> C[計算事件（2）機率]
    C --> D[輸出結果]

這個流程圖簡單地展示了計算事件機率的過程，從輸入引數開始，到計算事件（1）和事件（2）的機率，最後輸出結果。

玄貓的語言模型分析

在語言模型中，瞭解詞彙之間的關係和條件機率是非常重要的。給定的公式涉及到條件機率和詞彙配對的計算，讓我們一步一步地拆解和理解這個過程。

條件機率的計算

首先，我們需要計算條件機率 (p(w_2|w_1))，也就是在給定詞彙 (w_1) 的情況下，詞彙 (w_2) 出現的機率。這個機率可以透過觀察語料函式庫中詞彙配對的頻率來估計。

詞彙配對的頻率

在給定的公式中，(c_1) 代表以 (w_1) 開頭的詞彙對的數量，(c_2) 代表以 (w_2) 結尾的詞彙對的數量，而 (c_{12}) 代表同時包含 (w_1) 和 (w_2) 的詞彙對的數量。這些頻率可以從語料函式庫中統計出來。

公式的推導

現在，讓我們看看給定的公式：

[p(w_2|w_1) = \frac{c_{12}}{c_1}]

這個公式計算了在給定 (w_1) 的情況下，(w_2) 出現的條件機率。它是透過詞彙對 (w_1w_2) 的頻率 (c_{12}) 除以以 (w_1) 開頭的所有詞彙對的頻率 (c_1) 得到的。

應用和擴充套件

理解這個公式可以幫助我們在自然語言處理中更好地分析和預測詞彙之間的關係。例如，在語言模型中，這個公式可以用來計算給定一個詞彙的上下文，另一個詞彙出現的機率，這對於文字生成、語言翻譯等任務非常重要。

內容解密

上述公式和過程解釋瞭如何計算詞彙之間的條件機率，這是語言模型中的基本概念。透過這個公式，我們可以更好地理解語言模型如何學習和預測詞彙之間的關係。

圖表翻譯

下面的Mermaid圖表展示了詞彙配對的頻率和條件機率之間的關係：

  flowchart TD
    A[詞彙對頻率] --> B[條件機率]
    B --> C[語言模型]
    C --> D[文字生成]
    D --> E[語言翻譯]

這個圖表展示了詞彙對頻率如何被用來計算條件機率，然後這個條件機率又如何被用在語言模型中，以實作文字生成和語言翻譯等任務。

混合語言 AI Agent 的數學基礎

在混合語言 AI Agent 的設計中，數學基礎是非常重要的。以下是使用 LaTeX 語法在 Markdown 中輸入數學公式及符號的示例：

$$ \begin{aligned} P(c_1, c_2) &= \frac{N - c_1}{c_2 - c_{12}} \cdot \frac{c_2 - c_{12}}{N - c_1} \cdot (1 - p_2) \ &= \frac{(N - c_1)(c_2 - c_{12})}{(c_2 - c_{12})^2(1 - p_2)} \ &= \frac{N - c_1}{c_2 - c_{12}} \cdot \frac{1}{1 - p_2} \end{aligned} $$

這個數學公式描述了混合語言 AI Agent 中的機率計算。其中，$N$ 是總數，$c_1$ 和 $c_2$ 是兩個類別的數量，$c_{12}$ 是兩個類別的交集數量，$p_2$ 是第二個類別的機率。

從技術架構視角來看，TF-IDF 演算法雖然原理簡潔，但在實際應用中仍面臨挑戰。本文深入探討了 TF-IDF 的計算方法、應用場景、優缺點以及程式碼範例，並延伸討論了詞彙搭配、條件機率和語言模型等相關概念。分析顯示，TF-IDF 的核心價值在於評估詞彙的重要性與稀有度，但其忽略語義和上下文關係的缺陷限制了其在複雜語義分析中的應用。技術團隊需要針對特定應用場景，例如搜尋引擎、文字分類等，調整 TF-IDF 的引數和使用方法，或結合其他技術，例如詞嵌入、深度學習模型等，以提升其效能。玄貓認為，TF-IDF 作為一種基礎的文字分析技術，仍具有廣泛的應用價值，但需與時俱進地整合新技術，才能在日益複雜的自然語言處理任務中保持競爭力。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。