根據向量嵌入的RAG系統實作與最佳化

– 12 分鐘閱讀

隨著資料量的增長，根據關鍵字的傳統搜尋方法逐漸顯露出其不足之處，難以捕捉文字的深層語義關係。向量嵌入技術的興起為解決這個問題提供了新的方向，它能將文字轉換為高維向量，從而更精確地計算文字相似度。本文將深入探討如何根據向量嵌入技術實作RAG系統，並涵蓋不同搜尋策略的比較與最佳化，以及向量儲存的構建與應用。

在自然語言處理領域，向量空間模型是文字相似度計算的基礎。透過將文字轉換為向量，我們可以使用數學方法（如餘弦相似度）來量化文字之間的關聯性。TF-IDF是一種常用的向量化方法，它能有效地捕捉文字中的關鍵字資訊，並降低常用詞的權重。在實際應用中，我們需要根據資料集的特性和效能需求選擇合適的向量化方法和相似度計算方式。

實作查詢匹配

要實作查詢匹配，需要定義一個函式來找到最佳匹配。這個函式的主要任務是：

  • 將查詢轉換為TF-IDF向量格式
  • 計算查詢和矩陣中的加權向量之間的相似度
  • 傳回最佳匹配的索引和分數

查詢轉換

查詢轉換是指將查詢轉換為TF-IDF向量格式。這個過程是透過TF-IDF向量化器完成的。

相似度計算

相似度計算是指計算查詢和矩陣中的加權向量之間的相似度。這個過程是透過餘弦相似度函式完成的。

最佳匹配傳回

最佳匹配傳回是指傳回最佳匹配的索引和分數。這個過程是透過找到相似度矩陣中最大值的索引來完成的。

  flowchart TD
    A[查詢輸入] --> B[查詢轉換]
    B --> C[相似度計算]
    C --> D[最佳匹配傳回]

圖表翻譯：

上述流程圖描述了查詢匹配的過程。首先，查詢輸入到系統中。然後，查詢被轉換為TF-IDF向量格式。接下來，計算查詢和矩陣中的加權向量之間的相似度。最後，傳回最佳匹配的索引和分數。這個過程可以快速找到最相關的檔案，並傳回給使用者。

文字相似度計算與最佳匹配查詢

在自然語言處理（NLP）中，計算文字之間的相似度是一個重要的任務。這可以透過將文字轉換為向量，並計算向量之間的餘弦相似度（cosine similarity）來實作。

相似度計算流程

  1. 向量化：使用向量化工具（vectorizer）將文字轉換為向量。
  2. 計算相似度：計算查詢向量（query vector）與所有向量（tfidf_matrix）之間的餘弦相似度。
  3. 最佳匹配查詢：找到相似度最高的索引（best_index）。
  4. 最佳分數提取：提取最高的餘弦相似度分數（best_score）。

實作查詢最相似的紀錄

以下程式碼展示瞭如何使用向量化工具查詢最相似的紀錄：

vectorizer, tfidf_matrix = setup_vectorizer(db_records)
best_similarity_score, best_index = find_best_match(query, vectorizer)
best_matching_record = db_records[best_index]
print_formatted_response(best_matching_record)

此程式碼首先呼叫 setup_vectorizer 函式建立向量化工具，然後使用 find_best_match 函式查詢最相似的紀錄。最後，印出最相似的紀錄。

結果展示

系統會找到最相似的檔案並顯示結果：

---------------
A RAG vector store is a database or dataset that contains vectori points.
---------------

特徵提取

在執行查詢之前，先執行以下程式碼以顯示向量化工具的格式：

setup_vectorizer(records)

這將顯示矩陣的格式，如下圖所示： 圖 1.4：矩陣格式

增強輸入

現在，讓我們增強輸入內容。只需將查詢新增到最佳匹配的紀錄中：

augmented_input = query + ": " + best_matching_record

這將使 GPT-4o 反應並顯示輸出結果。

瞭解RAG向量儲存和搜尋方法

在上下文中，RAG（Retrieval-Augmented Generation）是一種結合了檢索和生成技術的方法，用於提高搜尋結果的相關性和準確性。要實作RAG，需要定義一個RAG向量儲存，這是一個資料函式庫或資料集，其中包含了向量化的資料點。

RAG向量儲存的定義

RAG向量儲存是一種資料結構，用於儲存和管理向量化的資料點。這些向量化的資料點可以是檔案、圖片或其他型別的資料。透過使用向量儲存，RAG可以快速地搜尋和檢索相關的資料點。

搜尋方法的選擇

在RAG中，搜尋方法的選擇取決於具體的應用場景和需求。有三種常見的搜尋方法：

  1. 關鍵字搜尋：適合於簡單的檢索任務，例如搜尋特定的關鍵字或短語。
  2. 向量搜尋：適合於語義豐富的檔案，例如搜尋相關的概念或想法。
  3. 索引基礎搜尋：適合於大規模的資料集，提供快速的搜尋速度。

模組化RAG

模組化RAG是一種靈活的方法，允許根據具體需求選擇不同的搜尋方法。透過建立一個RetrievalComponent類別，可以在每個步驟中呼叫不同的搜尋方法。這個類別可以初始化搜尋方法和向量化器，如果需要的話。

程式碼實作

以下程式碼示範瞭如何初始化RetrievalComponent類別：

def __init__(self, method='vector'):
    self.method = method
    if self.method == 'vector' or self.method == 'indexed':
        self.vectorizer = TfidfVectorizer()

這個程式碼定義了RetrievalComponent類別的初始化方法，根據選擇的搜尋方法初始化向量化器。

搜尋方法的組合

在某些情況下，可以將多種搜尋方法組合起來，以提高搜尋結果的相關性和準確性。例如，可以使用關鍵字搜尋找到明確定義的檔案標籤，然後使用索引基礎搜尋將檔案分組為索引子集，最後使用向量搜尋在有限的檔案中找到最相關的檔案。

文字搜尋引擎的實作

在實作文字搜尋引擎時，我們需要考慮多種搜尋方法，包括關鍵字搜尋、向量搜尋和索引搜尋。下面，我們將探討這些方法的實作細節。

關鍵字搜尋

關鍵字搜尋是一種基本的搜尋方法，它透過查詢檔案中是否包含查詢關鍵字來找到匹配的檔案。這種方法簡單直接，但可能不夠精確，因為它沒有考慮關鍵字之間的語義關係。

def keyword_search(self, query):
    best_score = 0
    best_record = None
    query_keywords = set(query.lower().split())
    
    for index, doc in enumerate(self.documents):
        doc_keywords = set(doc.lower().split())
        common_keywords = query_keywords.intersection(doc_keywords)
        
        # 計算匹配關鍵字的數量
        score = len(common_keywords)
        
        if score > best_score:
            best_score = score
            best_record = doc
            
    return best_record

向量搜尋

向量搜尋是一種更先進的搜尋方法，它透過將檔案和查詢轉換為向量，然後計算向量之間的相似度來找到匹配的檔案。這種方法可以考慮關鍵字之間的語義關係，因此比關鍵字搜尋更精確。

from sklearn.feature_extraction.text import TfidfVectorizer

def fit(self, records):
    if self.method == 'vector' or self.method == 'indexed':
        self.tfidf_matrix = self.vectorizer.fit_transform(records)

def vector_search(self, query):
    query_vector = self.vectorizer.transform([query])
    similarities = self.tfidf_matrix.dot(query_vector.T).toarray()
    
    # 找到相似度最高的檔案
    max_similarity_index = np.argmax(similarities)
    best_record = self.documents[max_similarity_index]
    
    return best_record

索引搜尋

索引搜尋是一種高效的搜尋方法，它透過建立索引來快速找到匹配的檔案。這種方法可以結合關鍵字搜尋和向量搜尋的優點，因此在實際應用中非常常用。

def indexed_search(self, query):
    # 建立索引
    index = {}
    for i, doc in enumerate(self.documents):
        for keyword in set(doc.lower().split()):
            if keyword not in index:
                index[keyword] = []
            index[keyword].append(i)
    
    # 查詢索引
    query_keywords = set(query.lower().split())
    result_indices = set()
    for keyword in query_keywords:
        if keyword in index:
            result_indices.update(index[keyword])
    
    # 傳回匹配的檔案
    return [self.documents[i] for i in result_indices]

搜尋方法的選擇

在實際應用中，需要根據具體情況選擇適合的搜尋方法。關鍵字搜尋簡單直接，但可能不夠精確。向量搜尋可以考慮關鍵字之間的語義關係，但計算複雜度較高。索引搜尋可以結合關鍵字搜尋和向量搜尋的優點，因此在實際應用中非常常用。

  flowchart TD
    A[查詢輸入] --> B{選擇搜尋方法}
    B -->|關鍵字搜尋| C[關鍵字搜尋]
    B -->|向量搜尋| D[向量搜尋]
    B -->|索引搜尋| E[索引搜尋]
    C --> F[傳回匹配檔案]
    D --> F
    E --> F

圖表翻譯：

此圖示為搜尋方法的選擇流程。首先，輸入查詢，然後根據具體情況選擇適合的搜尋方法。關鍵字搜尋、向量搜尋和索引搜尋都是常用的搜尋方法，每種方法都有其優缺點。最終，傳回匹配的檔案。

檔案查詢方法

在檔案查詢中，我們通常會使用多種方法來尋找最相關的檔案。以下，我們將介紹三種常見的查詢方法：根據關鍵字的查詢、向量查詢和索引查詢。

根據關鍵字的查詢

這種方法是透過計算查詢中出現的關鍵字與檔案中出現的關鍵字的數量來確定最相關的檔案。以下是其實作的簡要示例：

score = len(common_keywords)

if score > best_score:
    best_score = score
    best_record = self.documents[index]

return best_record

在這段程式碼中，common_keywords 是查詢和檔案中共同出現的關鍵字列表。透過計算這些關鍵字的數量，我們可以確定哪個檔案與查詢最相關。

向量查詢

向量查詢方法透過計算查詢向量和檔案向量之間的相似度來尋找最相關的檔案。以下是其實作的簡要示例：

def vector_search(self, query):
    query_tfidf = self.vectorizer.transform([query])
    similarities = cosine_similarity(query_tfidf, self.tfidf)
    best_index = similarities.argmax()
    return db_records[best_index]

在這段程式碼中，query_tfidf 是查詢的 TF-IDF 向量，self.tfidf 是檔案的 TF-IDF 矩陣。透過計算這兩個向量之間的餘弦相似度，我們可以確定哪個檔案與查詢最相關。

索引查詢

索引查詢方法透過預先計算的 TF-IDF 矩陣來快速檢索最相關的檔案。以下是其實作的簡要示例：

def indexed_search(self, query):
    query_tfidf = self.vectorizer.transform([query])
    similarities = cosine_similarity(query_tfidf, self.tfidf)
    best_index = similarities.argmax()
    return db_records[best_index]

在這段程式碼中，self.tfidf 是預先計算的 TF-IDF 矩陣。透過計算查詢向量和這個矩陣之間的相似度，我們可以快速確定哪個檔案與查詢最相關。

模組化 RAG 策略

我們現在可以啟用模組化 RAG 策略。這些策略允許我們根據需要呼叫檢索元件，以實作更高效和更具彈性的查詢功能。透過結合不同的查詢方法和策略，我們可以建立出更強大和更智慧的檔案查詢系統。

關於RAG（Retrieval-Augmented Generation）系統的探索

RAG是一種結合了檢索和生成技術的AI框架，旨在提高生成模型的準確性和相關性。它由兩個主要元件組成：檢索器（Retriever）和生成器（Generator）。檢索器負責處理資料並定義搜尋方法，而生成器則利用檢索到的資訊來生成文字序列。

RAG的組態

RAG有三種主要組態：簡單RAG（Naïve RAG）、高階RAG（Advanced RAG）和模組化RAG（Modular RAG）。簡單RAG使用基礎搜尋方法，如關鍵字匹配；高階RAG引入了嵌入和索引技術來提高搜尋效率；模組化RAG可以結合簡單和高階RAG，以及其他機器學習方法。

RAG生態系統

RAG生態系統依賴於資料集、檢索器、生成器、訓練器和評估器等元件。這些元件共同工作，以實作高效的搜尋和生成功能。

示例程式

以下是一個使用Python實作的簡單RAG程式，展示了根據關鍵字匹配、向量搜尋和索引基礎檢索的功能：

retrieval = RetrievalComponent(method='vector')
retrieval.fit(db_records)
best_matching_record = retrieval.retrieve(query)
print_formatted_response(best_matching_record)

這個程式使用向量搜尋方法來尋找與查詢最匹配的記錄，並列印預出格式化的回應。

問題和答案

  1. RAG是否設計用於提高生成AI模型的準確性？ 是
  2. 簡單RAG組態是否依賴於複雜的資料嵌入？ 否
  3. 是否總是更好地使用微調而不是使用RAG？ 否
  4. RAG是否從外部源實時檢索資料以增強回應？ 否
  5. RAG是否只能應用於根據文字的資料？ 否
  6. RAG的檢索過程是否由玄貓觸發？ 否
  7. 餘弦相似度和TF-IDF是否都是高階RAG組態中使用的指標？ 是
  8. RAG生態系統是否只包括資料收集和生成元件？ 否
  9. 高階RAG組態是否可以處理多模態資料，如影像和音訊？ 是
  10. 人類反饋在評估RAG系統中是否無關緊要？ 否

RAG 驅動的生成式 AI：向量儲存和深度學習

在實作 RAG 驅動的生成式 AI 時，複雜性是不可避免的，尤其是在實作向量儲存和深度學習時。向量儲存是將大量的結構化或非結構化文字轉換為緊湊的高維向量，以捕捉其語義本質，從而實作更快和更高效的資訊檢索。然而，當管理越來越大的資料集時，檔案向量的建立和儲存就變得必要了。

向量儲存的選擇

使用關鍵字而不是向量嵌入可能是一個選擇，但是向量嵌入可以捕捉文字的更深層次的語義含義，提供更細膩和上下文感知的檢索結果。因此，向量儲存成為了一個更好的選擇，向量儲存可以組織和快速存取向量嵌入。

RAG 管道的架構

為了實作 RAG 驅動的生成式 AI 管道，我們需要將管道分解為獨立的元件，以便於團隊合作和開發。這樣，我們就可以為 RAG 驅動的生成式 AI 管道建立一個藍圖。最終，我們將使用 Python 和 Activeloop Deep Lake、OpenAI 和自定義函式從頭開始構建一個三元件 RAG 管道。

實作挑戰

在這個過程中，我們將面臨跨平臺環境問題、資料分塊、向量嵌入和向量儲存的挑戰。同時，我們還需要使用 OpenAI 的嵌入模型來嵌入資料，並使用 GPT-4o 模型進行檢索查詢和產生輸出。

主要內容

本章涵蓋以下主題：

  1. 介紹檔案嵌入和向量儲存
  2. 如何將 RAG 管道分解為獨立元件
  3. 從原始資料到 Activeloop Deep Lake 的 RAG 管道構建
  4. 解決跨平臺包和函式庫的環境挑戰
  5. 利用 OpenAI 的嵌入模型嵌入資料

透過這個章節，你將全面瞭解如何利用向量儲存中的嵌入檔案來增強生成式 AI 的能力。

內容解密：

import numpy as np
from transformers import AutoModel, AutoTokenizer

# 載入預訓練模型和分詞器
model = AutoModel.from_pretrained("openai/clip-vit-base-patch16")
tokenizer = AutoTokenizer.from_pretrained("openai/clip-vit-base-patch16")

# 定義一個函式來嵌入檔案
def embed_document(document):
    inputs = tokenizer(document, return_tensors="pt")
    outputs = model(**inputs)
    embeddings = outputs.last_hidden_state[:, 0, :]
    return embeddings

# 測試嵌入函式
document = "This is a test document."
embeddings = embed_document(document)
print(embeddings.shape)

圖表翻譯：

  graph LR
    A[原始檔案] -->|嵌入|> B[向量嵌入]
    B -->|儲存|> C[向量儲存]
    C -->|檢索|> D[檢索查詢]
    D -->|產生|> E[生成式 AI 輸出]

這個圖表展示了從原始檔案到生成式 AI 輸出的整個過程，包括檔案嵌入、向量儲存、檢索查詢和產生輸出。

從原始資料到向量嵌入：Activeloop Deep Lake 的應用

向量嵌入是一種將任何形式的資料（文字、影像或音訊）轉換為實數的過程。因此，一份檔案被轉換為一個向量。這些數學表示法使我們能夠計算檔案之間的距離並檢索相似的資料。

原始資料（書籍、文章、部落格、圖片或歌曲）首先被收集和清理以去除雜訊。然後，準備好的資料被輸入到模型中，例如 OpenAI 的 text-embedding-3-small，該模型將嵌入資料。Activeloop Deep Lake 例如，將文字分解為預定義的塊，大小可以是 1,000 個字元。這些文字塊使得處理大量資料和提供檔案的詳細嵌入變得更容易。

向量儲存的應用

一旦我們有了文字和嵌入，我們就需要高效地儲存它們以便於快速檢索。這就是向量儲存的作用。向量儲存是一種專門設計用於處理高維度資料（如嵌入）的資料函式庫。我們可以在無伺服器平臺上建立資料集，例如 Activeloop，並透過 API 存取它們。

從技術架構視角來看，本文深入探討了根據向量嵌入的文字搜尋引擎實作方法，涵蓋關鍵字搜尋、向量搜尋、索引搜尋以及 RAG（Retrieval-Augmented Generation）技術的應用。分析比較了不同搜尋方法的優劣，例如關鍵字搜尋的簡潔快速與向量搜尋的語義理解能力，並闡述了索引搜尋在實際應用中的重要性。文章詳細介紹了向量儲存技術，例如 Activeloop Deep Lake，如何有效管理和快速檢索向量嵌入，以及如何利用 OpenAI 的嵌入模型和 GPT-4o 模型構建 RAG 管道。技術限制方面，文章提到了跨平臺環境問題、資料分塊、向量嵌入和向量儲存等挑戰。展望未來，隨著資料集規模的增長和深度學習技術的發展，更高效的向量儲存和搜尋方法將成為研究熱點，例如結合深度學習模型的向量量化技術和根據圖的向量搜尋技術。對於追求高精確度語義搜尋的應用場景，建議採用向量搜尋和 RAG 技術，並關注向量儲存的效能最佳化。隨著技術的成熟，預計向量搜尋和 RAG 技術將在更多領域得到廣泛應用，例如知識圖譜構建、智慧問答系統和個人化推薦系統等，進一步提升資訊檢索和自然語言處理的效率和智慧化程度。玄貓認為，向量搜尋和 RAG 技術代表了未來搜尋引擎發展的重要方向，值得深入研究和探索。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。