向量資料函式庫詞嵌入技術與相似度計算方法

– 9 分鐘閱讀

詞嵌入技術是自然語言處理的核心，能將文字轉換為向量表示，方便電腦理解和處理語義。常用的詞嵌入模型如 OpenAI Ada、Hugging Face Sentence Transformers 等，能生成稠密向量捕捉詞彙間的關係。相較之下，稀疏向量則適用於關鍵字搜尋。詞嵌入的準確性取決於訓練模型的品質和資料，領域特定詞彙可能需要訓練自定義模型，例如使用 Gensim 訓練 Word2Vec 模型。Word2Vec 能捕捉詞彙的語義，並可透過調整引數如向量維度、上下文視窗大小等來最佳化模型。除了 Word2Vec，TF-IDF 也是常用的相似度計算方法，它考慮詞頻和逆檔案頻率，適用於小型檔案和詞彙相似度計算。在 Python 中，可以使用 scikit-learn 函式庫中的 TfidfVectorizer 和 cosine_similarity 函式來計算 TF-IDF 相似度。

5.2 向量資料函式庫與 FAISS 和 Pinecone

當您執行這段程式碼時，指令碼會將文字傳送到 Hugging Face API，然後 API 會為每個傳送的文字字串傳回嵌入（embeddings）。如果您將相同的文字傳入嵌入模型，您每次都會得到相同的向量。但是，向量通常不能跨模型（或模型版本）進行比較，因為訓練過程的差異。您從 OpenAI 取得的嵌入與從 BERT 或 spaCy 取得的嵌入是不同的。

玄貓生成的嵌入有一個主要的不同之處，即詞彙函式庫中相同的詞彙在不同情境下會有不同的嵌入。例如，「bank」這個詞彙在河岸（riverbank）和金融銀行（financial bank）的情境下會有不同的嵌入。OpenAI Ada 002 和 Hugging Face Sentence Transformers 所生成的嵌入是稠密向量（dense vectors）的例子，其中陣列中的每個數字幾乎都是非零的（即，它們包含語義資訊）。還有一種稀疏向量（sparse vectors），它通常具有大量的維度（例如，100,000+），其中許多維度的值為零。這允許捕捉特定的重要特徵（每個特徵可以有自己的維度），這對於根據關鍵字的搜尋應用程式的效能非常重要。大多數 AI 應用程式使用稠密向量進行檢索，雖然混合搜尋（同時使用稠密和稀疏向量）正在日益流行，因為兩種搜尋方法都可以結合使用。

向量的準確性完全依賴於用於生成嵌入的模型的準確性。底層模型中的任何偏見或知識空白也將成為向量搜尋的問題。例如，text-embedding-ada-002 模型目前只訓練到 2020 年 8 月，因此不知道 2020 年 8 月之後形成的任何新詞彙或新文化聯想。這可能會對需要更近期背景或領域知識的使用案例造成問題，而這些知識可能不在訓練資料中，這可能需要訓練一個自定義模型。

在某些情況下，訓練自己的嵌入模型可能是有意義的。例如，如果使用的文字具有領域特定的詞彙，其中特定的詞彙具有與一般接受的詞彙意義不同的意義，您可能需要這樣做。一個例子可能是追蹤玄貓使用的語言，他們演變了語言以繞過審查行動。

您可以使用像 word2vec 這樣的工具來訓練自己的嵌入模型，word2vec是一種方法，可以在向量空間中表示詞彙，從而捕捉詞彙的語義意義。更先進的模型，如 GloVe（Global Vectors for Word Representation），可以用於訓練自定義嵌入。GloVe是在 Common Crawl 資料集上訓練的，Common Crawl是一個開源的網路快照。Gensim 函式庫提供了一個簡單的過程來訓練自己的自定義嵌入，使用開源演算法 word2vec。

內容解密：

以下是使用 Gensim 訓練自定義 word2vec 嵌入模型的示例：

from gensim.models import Word2Vec

# 樣本資料：句子的列表，每個句子都是詞彙的列表。
sentences = [
    ["the", "cake", "is", "a", "lie"],
    ["if", "you", "hear", "a", "turret", "sing", "you're", "probably", "too", "close"],
    #...
]

# 訓練 word2vec 模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4, seed=36)

# 儲存模型
model.save("custom_word2vec_model.model")

這段程式碼示範瞭如何使用 Gensim 的 Word2Vec 類別來訓練一個自定義的 word2vec 嵌入模型。模型接受一系列句子作為輸入，每個句子都是詞彙的列表。vector_size 引數指定了嵌入向量的維度，window 引數指定了考慮詞彙鄰近性的大小，min_count 引數指定了詞彙出現次數的最小閾值，workers 引數指定了訓練過程中使用的工作執行緒數，seed 引數指定了隨機種子以確保可重現性。

圖表翻譯：

以下是使用 Mermaid 圖表來展示 word2vec 訓練過程：

  graph LR
    A[文字資料] -->|輸入|> B[Word2Vec 訓練]
    B -->|產生|> C[自定義嵌入模型]
    C -->|儲存|> D[模型檔案]

這個圖表展示了文字資料如何被輸入到 Word2Vec 訓練過程中，然後產生自定義嵌入模型，並最終儲存為模型檔案。

使用Word2Vec模型進行詞向量分析

Word2Vec是一種著名的詞向量演算法，能夠將文字轉換為數值向量，以便進行各種自然語言處理任務。以下是使用Word2Vec模型進行詞向量分析的範例程式碼：

import gensim
from gensim.models import Word2Vec

# 定義訓練資料
sentences = [
    ["this", "is", "a", "test"],
    ["this", "is", "another", "test"],
    ["i", "love", "to", "eat", "cake"]
]

# 建立Word2Vec模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4, seed=36)

# 儲存模型
model.save("custom_word2vec_model.model")

# 載入模型
loaded_model = Word2Vec.load("custom_word2vec_model.model")

# 取得詞向量
vector = loaded_model.wv["cake"]

# 找到最相似的詞彙
similar_words = loaded_model.wv.most_similar("cake", topn=5)
print("最相似的詞彙：", similar_words)

# 計算兩個詞彙之間的相似度
cake_lie_similarity = loaded_model.wv.similarity("cake", "lie")
print("cake和lie之間的相似度：", cake_lie_similarity)

這個程式碼首先定義了一些訓練資料，然後建立了一個Word2Vec模型，並將其儲存到一個檔案中。接著，載入了儲存的模型，並使用它來計算詞向量、找到最相似的詞彙以及計算兩個詞彙之間的相似度。

Word2Vec模型的引數

  • sentences：訓練資料，應該是一個列表，其中每個元素是一個句子，句子應該是一個列表，其中每個元素是一個詞彙。
  • vector_size：詞向量的維度，預設值為100。
  • window：最大距離 giữa目前的詞彙和預測的詞彙，預設值為5。
  • min_count：最小出現次數，預設值為1。
  • workers：使用的CPU核心數，預設值為4。
  • seed：隨機種子，預設值為36。

Word2Vec模型的方法

  • save()：儲存模型到一個檔案中。
  • load()：載入儲存的模型。
  • wv[]：取得詞向量。
  • most_similar()：找到最相似的詞彙。
  • similarity()：計算兩個詞彙之間的相似度。

應用

Word2Vec模型可以用於各種自然語言處理任務，例如：

  • 文字分類別
  • 詞彙嵌入
  • 文字生成
  • 問答系統

等等。

瞭解詞嵌入和TF-IDF

在自然語言處理（NLP）中，詞嵌入（Word Embeddings）是一種技術，用於將文字轉換為數值向量，以便電腦能夠理解和處理。這種技術可以用於計算詞彙之間的相似度、進行文字分類別等任務。

詞嵌入的應用

詞嵌入可以用於各種任務，例如：

  • 相似度計算：計算兩個詞彙之間的相似度。
  • 算術運算：對詞彙向量進行算術運算。
  • 文字分類別：根據詞彙的向量表示進行文字分類別。

TF-IDF的介紹

TF-IDF（Term Frequency-Inverse Document Frequency）是一種統計措施，用於評估一個詞彙在一個檔案中的重要性。TF-IDF值會隨著詞彙在檔案中出現的次數而增加，但會被某些常見詞彙的出現次數所抵消。

TF-IDF的優點

TF-IDF有一些優點，例如：

  • 能夠處理小型檔案：TF-IDF適合用於小型檔案，即使只有幾個句子。
  • 能夠計算詞彙之間的相似度：TF-IDF可以用於計算兩個詞彙之間的相似度。

使用TF-IDF計算相似度

要使用TF-IDF計算相似度，可以使用scikit-learn函式庫中的TfidfVectorizer類別和cosine_similarity函式。以下是示例程式碼：

import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 將句子轉換為字串列表
document_list = [' '.join(s) for s in sentences]

# 計算TF-IDF表示
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(document_list)

# 取得詞彙“cake”和“lie”的索引
cake_idx = vectorizer.vocabulary_['cake']
lie_idx = vectorizer.vocabulary_['lie']

# 提取和重塑“cake”的向量
cakevec = tfidf_matrix[:, cake_idx].toarray().reshape(1, -1)

# 計算餘弦相似度
similar_words = cosine_similarity(cakevec, tfidf_matrix.T).flatten()

# 取得最相似的6個詞彙的索引（包括“cake”）
top_indices = np.argsort(similar_words)[-6:-1][::-1]

圖表翻譯：

  flowchart TD
    A[開始] --> B[計算TF-IDF表示]
    B --> C[提取詞彙索引]
    C --> D[計算餘弦相似度]
    D --> E[取得最相似的詞彙]

內容解密：

以上程式碼示範瞭如何使用TF-IDF計算兩個詞彙之間的相似度。首先，需要將句子轉換為字串列表。然後，使用TfidfVectorizer類別計算TF-IDF表示。接下來，需要取得詞彙“cake”和“lie”的索引。然後，提取和重塑“cake”的向量。最後，使用cosine_similarity函式計算餘弦相似度，並取得最相似的6個詞彙的索引（包括“cake”）。

文字相似度計算與視覺化

在自然語言處理（NLP）中，計算文字之間的相似度是一項重要的任務。這項任務可以幫助我們瞭解不同文字之間的語義關係。在本文中，我們將使用TF-IDF（Term Frequency-Inverse Document Frequency）演算法來計算文字相似度。

TF-IDF演算法介紹

TF-IDF是一種常用的文字相似度計算方法，它結合了兩個重要的因素：詞頻（Term Frequency）和逆檔案頻率（Inverse Document Frequency）。詞頻表示某個詞在一篇文章中出現的次數，而逆檔案頻率則表示某個詞在整個語料函式庫中出現的次數。透過這兩個因素的結合，TF-IDF可以有效地計算文字之間的相似度。

相似度計算步驟

  1. 載入必要的函式庫和資料：首先，我們需要載入必要的函式庫和資料，包括numpy、scipy和sklearn。
  2. 建立TF-IDF模型：接下來，我們需要建立TF-IDF模型，並使用它來轉換文字資料。
  3. 計算相似度：然後，我們可以使用TF-IDF模型來計算不同文字之間的相似度。

程式碼實作

import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 載入資料
sentences = [...]

# 建立TF-IDF模型
vectorizer = TfidfVectorizer()

# 轉換資料
tfidf_matrix = vectorizer.fit_transform(sentences)

# 計算相似度
cake_idx = vectorizer.vocabulary_['cake']
lie_idx = vectorizer.vocabulary_['lie']

similarity = cosine_similarity(np.asarray(tfidf_matrix[:, cake_idx].todense()), 
                              np.asarray(tfidf_matrix[:, lie_idx].todense()))

avg_similarity = similarity.mean()
print("Similarity between 'cake' and 'lie'", avg_similarity)

結果分析

透過上述程式碼，我們可以計算出不同文字之間的相似度。結果顯示，“cake"和"lie"之間的相似度為0.8926458157227388，而"cake"和"sing"之間的相似度為0.010626735901461177。這些結果可以幫助我們瞭解不同文字之間的語義關係。

圖表翻譯：

  flowchart TD
    A[載入資料] --> B[建立TF-IDF模型]
    B --> C[轉換資料]
    C --> D[計算相似度]
    D --> E[輸出結果]

內容解密：

在上述程式碼中，我們使用TF-IDF模型來計算不同文字之間的相似度。TF-IDF模型可以有效地捕捉文字之間的語義關係，並提供一個量化的相似度指標。透過這個指標，我們可以瞭解不同文字之間的關係，並進行進一步的分析和應用。

從技術架構視角來看，本文深入探討了向量資料函式庫以及如何利用 FAISS 和 Pinecone 等工具進行相似度搜尋。分析段落詳細比較了不同嵌入模型的特性，例如 OpenAI Ada 002 和 Hugging Face Sentence Transformers 所產生的稠密向量，以及根據關鍵字搜尋的稀疏向量。文章也點明瞭模型訓練資料的時效性限制，例如 text-embedding-ada-002 模型的知識函式庫只更新到 2020 年 8 月，並提出了針對特定領域詞彙（例如網路用語）訓練自定義模型的解決方案，例如使用 Word2Vec 和 GloVe。文章更進一步提供了使用 Gensim 訓練 Word2Vec 模型的程式碼範例，以及 TF-IDF 的應用場景和程式碼範例，展現了詞嵌入和傳統詞頻統計方法在文字相似度計算上的應用。展望未來，隨著模型訓練資料的持續更新和演算法的精進，預期文字嵌入技術將在語義理解和搜尋領域扮演更關鍵的角色。對於需要處理大量文字資料並進行相似度搜尋的應用，建議深入研究不同嵌入模型的特性，並根據實際需求選擇合適的向量資料函式庫和搜尋策略，才能有效提升搜尋效率和準確性。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。