Python 建構評分系統與整合人工智慧反饋機制

– 12 分鐘閱讀

評分系統是許多應用程式不可或缺的組成部分，用於評估和排序不同專案。本文將探討如何使用 Python 建構評分系統，並整合人工智慧技術，特別是檢索增強生成（RAG）和 Pinecone 向量資料函式庫，以提升系統效能和提供更精準的反饋。隨著資料量的增長，傳統的評分系統可能面臨效能瓶頸。透過整合 Pinecone 向量儲存技術，可以有效地管理和查詢大量的向量資料，進而提升 RAG 的效能和擴充套件性。

評分指標

評分指標是用於評估模型生成文字品質的標準。常用的評分指標包括相關性、連貫性、流暢性等。

評分過程

評分過程是人類使用者對模型生成文字進行評分的過程。人類使用者會根據自己的判斷對模型生成的文字進行評分，評分結果會被記錄下來。

評分結果

評分結果是人類使用者對模型生成文字進行評分的結果。評分結果可以用於評估模型的效能，從而可以對模型進行改進。

實作評分系統

以下是實作評分系統的 Python 程式碼：

import numpy as np

def evaluate_response(response):
    print("\nGenerated Response:")
    print(response)
    while True:
        try:
            score = int(input("請評分（1-5）："))
            if 1 <= score <= 5:
                return score
            else:
                print("請輸入1-5之間的整數。")
        except ValueError:
            print("請輸入整數。")

def calculate_mean_score(scores):
    return np.mean(scores)

def main():
    scores = []
    for i in range(20):
        response = "這是第{}個生成的文字。".format(i+1)
        score = evaluate_response(response)
        scores.append(score)
    mean_score = calculate_mean_score(scores)
    print("平均評分：", mean_score)

if __name__ == "__main__":
    main()

這個程式碼定義了兩個函式：evaluate_response 和 calculate_mean_score。evaluate_response 函式用於評估模型生成的文字，calculate_mean_score 函式用於計算平均評分。main 函式是程式的入口，負責呼叫其他函式並計算平均評分。

Mermaid 圖表

以下是 Mermaid 圖表，用於展示評分系統的流程：

  flowchart TD
    A[開始] --> B[生成文字]
    B --> C[評分]
    C --> D[計算平均評分]
    D --> E[輸出結果]

這個圖表展示了評分系統的流程，從生成文字到輸出結果。

圖表翻譯

這個圖表展示了評分系統的流程。首先，系統生成一段文字。然後，人類使用者對這段文字進行評分。接下來，系統計算平均評分。最後，系統輸出平均評分結果。

程式碼評估與人工專家評估

在評估程式碼的過程中，我們使用了多種方法，包括計算評分、排名和評分歷史。然而，這些方法可能無法完全反映程式碼的準確性和有效性。因此，我們還需要人工專家的評估來確保程式碼的品質。

自動評估

自動評估是透過計算評分、排名和評分歷史來評估程式碼的。以下是相關的程式碼：

def evaluate_response(response):
    print(response)
    print("\nPlease evaluate the response based on the following criteria:")
    print("1 - Poor, 2 - Fair, 3 - Good, 4 - Very Good, 5 - Excellent")
    score = input("Enter the relevance and coherence score (1-5): ")
    try:
        score = int(score)
        if 1 <= score <= 5:
            return score
        else:
            print("Invalid score. Please enter a number between 1 and 5.")
            return evaluate_response(response)  # Recursive call
    except ValueError:
        print("Invalid input. Please enter a numerical value.")
        return evaluate_response(response)  # Recursive call if input is not numerical

score = evaluate_response(gpt4_response)
print("Evaluator Score:", score)

這個程式碼會顯示程式碼的輸出，然後要求使用者輸入評分。評分會被計算和儲存，以便後續分析。

人工專家評估

人工專家評估是透過請求人工專家評估程式碼的品質來進行的。以下是相關的程式碼：

from grequests import download

# Define your variables
thumbs_up_url = "https://example.com/thumbs-up.png"
thumbs_down_url = "https://example.com/thumbs-down.png"

# Download images
download(thumbs_up_url, "thumbs_up.png")
download(thumbs_down_url, "thumbs_down.png")

這個程式碼會下載兩個圖片：讚賞和不讚賞。這些圖片會被用來請求人工專家評估程式碼的品質。

評估結果

評估結果會被計算和顯示，包括評分、排名和評分歷史。以下是相關的程式碼：

counter += 1
score_history += score
mean_score = round(np.mean(score_history / counter), 2)

if counter > 0:
    print("Rankings :", counter)
    print("Score history : ", mean_score)

這個程式碼會計算和顯示評分、排名和評分歷史。

內容解密：

以上程式碼的作用是評估程式碼的品質，包括自動評估和人工專家評估。自動評估是透過計算評分、排名和評分歷史來進行的，而人工專家評估是透過請求人工專家評估程式碼的品質來進行的。評估結果會被計算和顯示，包括評分、排名和評分歷史。

圖表翻譯：

以下是程式碼的流程圖：

  flowchart TD
    A[開始] --> B[自動評估]
    B --> C[人工專家評估]
    C --> D[計算評分]
    D --> E[顯示評分]
    E --> F[結束]

這個流程圖顯示了程式碼的流程，包括自動評估、人工專家評估、計算評分和顯示評分。

專家評價系統的設計與實作

在開發人工智慧系統時，通常需要一個機制來評估系統的效能和品質。其中一個重要的評估方式是透過專家評價。這個過程涉及讓專家們評估系統的輸出，並提供反饋以改善系統的效能。

評價觸發引數

要觸發專家評價，需要設定兩個重要的引數：counter_threshold 和 score_threshold。counter_threshold 是用來設定需要多少次使用者評價才能觸發專家評價的閾值，而 score_threshold 則是設定平均評分的閾值。當使用者評價的次數超過 counter_threshold 且平均評分低於或等於 score_threshold 時，就會觸發專家評價。

# 定義觸發專家評價的引數
counter_threshold = 10
score_threshold = 4

# 模擬觸發專家評價
if counter > counter_threshold and score_history <= score_threshold:
    print("需要專家評價")

使用者介面設計

在實際應用中，應該組織一個工作坊讓專家使用者定義介面。在這個例子中，我們使用標準的 HTML 介面在 Python 細胞中顯示讚賞和不讚賞的圖示。如果專家按下不讚賞的圖示，可以輸入並儲存反饋到一個名為 expert_feedback.txt 的檔案中。

import base64
from IPython.display import display, HTML

def image_to_data_uri(file_path):
    """
    將圖片轉換為 data URI。
    """
    with open(file_path, 'rb') as image_file:
        encoded_string = base64.b64encode(image_file.read()).decode()
    return f'data:image/png;base64,{encoded_string}'

thumbs_up_data_uri = image_to_data_uri('/content/thumbs_up.png')
thumbs_down_data_uri = image_to_data_uri('/content/thumbs_down.png')

def display_icons():
    # 定義包含兩個可點選圖片的 HTML 內容
    html_content = f"""
    <img src="{thumbs_up_data_uri}" onclick="saveFeedback('讚賞')">
    <img src="{thumbs_down_data_uri}" onclick="saveFeedback('不讚賞')">
    """
    display(HTML(html_content))

def save_feedback(feedback):
    with open('/content/expert_feedback.txt', 'w') as f:
        f.write(feedback)
    print("反饋已經儲存")

實作和最佳化

在實際實作中，需要考慮如何最佳化專家評價的流程，例如自動化評價觸發、提高評價的效率等。同時，也需要確保評價結果的品質和可靠性，以便更好地改善系統的效能。

圖表翻譯：

  flowchart TD
    A[使用者評價] --> B[評價次數超過閾值]
    B --> C[平均評分低於閾值]
    C --> D[觸發專家評價]
    D --> E[顯示讚賞和不讚賞圖示]
    E --> F[專家輸入反饋]
    F --> G[儲存反饋到檔案]

內容解密：

以上程式碼展示瞭如何設計一個簡單的專家評價系統。首先，定義了觸發專家評價的引數，然後模擬了觸發專家評價的過程。接著，使用 HTML 介面顯示讚賞和不讚賞的圖示，並定義了儲存反饋到檔案的函式。這個過程可以自動化，提高了評價的效率。

人工智慧反饋系統的實踐與應用

在前面的章節中，我們探討瞭如何建立一個根據人工智慧（AI）的反饋系統，特別是如何整合人工智慧和人類反饋（HF）來建立一個自適應的問答生成系統（RAG）。本章將深入探討這個系統的實踐和應用，包括如何使用人類反饋來改進RAG驅動的生成式AI系統。

人類反饋在RAG中的重要性

人類反饋在RAG中扮演著至關重要的角色。透過整合人類反饋，RAG可以不斷學習和改進，提供更準確和相關的答案。人類反饋可以用來評估RAG生成的答案的品質，並根據使用者的評分對答案進行排名。低排名的答案可以觸發人類反饋迴圈，以便進一步改進RAG。

實踐和應用

在實踐中，RAG可以應用於各種領域，包括客戶支援、知識圖譜查詢等。透過使用RAG，企業可以提供更好的使用者經驗和更高效的客戶支援。同時，RAG也可以用於知識圖譜查詢，提供更準確和相關的答案。

問題和挑戰

雖然RAG具有許多優點，但也存在一些問題和挑戰。例如，如何確保人類反饋的品質和準確性？如何處理大量的使用者反饋資料？如何確保RAG不會過度依賴人類反饋？

未來，RAG將繼續發展和改進。透過使用更先進的AI技術和更大規模的人類反饋資料，RAG可以提供更準確和相關的答案。同時，RAG也可以應用於更多的領域，包括醫療、金融等。

回答問題

  1. 人類反饋是否對於改進RAG驅動的生成式AI系統至關重要？ 是

  2. 是否可以在不重新訓練模型的情況下更改生成式AI模型中的核心資料？ 否

  3. 自適應RAG是否涉及實時的人類反饋迴圈以改進檢索？ 是

  4. 自適應RAG的主要焦點是否是用自動化回應取代所有人類輸入？ 否

  5. 人類反饋是否可以在自適應RAG中觸發檢索檔案的變化？ 是

  6. 公司C是否僅將自適應RAG用於客戶支援問題？ 否

  7. 人類反饋是否只在AI回應具有高使用者評分時使用？ 否

圖表翻譯

  graph LR
    A[開始] --> B[收集資料]
    B --> C[處理資料]
    C --> D[查詢資料]
    D --> E[生成答案]
    E --> F[評估答案]
    F --> G[排名答案]
    G --> H[觸發人類反饋]
    H --> I[改進RAG]

6. 使用 Pinecone 尋找最佳解決方案以擴充套件 RAG 銀行客戶資料

擴充套件 RAG 檔案，無論是根據文字還是多模態的，都不僅僅是增加資料，而是從根本上改變應用程式的工作方式。首先，擴充套件是關於找到合適的資料量，而不是隻是增加更多資料。其次，當您新增更多資料時，應用程式的需求可能會發生變化 - 它可能需要新的功能來處理更大的負載。最後，成本監控和速度效能將限制我們的專案擴充套件。因此，本章旨在為您提供最先進的技術，以利用 AI 解決您在專案中可能面臨的實際擴充套件挑戰。為此，我們將使用 Pinecone 建立一個根據模式匹配的推薦系統，以最小化銀行客戶流失（客戶選擇離開銀行）。

6.1 第一步：下載 Kaggle 銀行客戶資料集並進行探索性資料分析

首先，我們需要下載 Kaggle 銀行客戶資料集並進行探索性資料分析（EDA）。這一步驟至關重要，因為它指導和支援您準備資料集和 RAG 策略以供下一步驟使用。

6.2 第二步：使用 Pinecone 和 OpenAI 的 text-embedding-3-small 模型

接下來，我們將介紹 Pinecone 和 OpenAI 的 text-embedding-3-small 模型的強大組合。Pinecone 是一種適合處理大規模向量搜尋的向量資料函式庫。在這一步驟中，您將學習如何將資料分塊並嵌入，然後更新或插入記錄到 Pinecone 索引中。我們將擴充套件索引以支援 1,000,000+ 向量，並為複雜查詢檢索做好準備，以達到令人滿意的速度。

6.3 第三步：使用 Pinecone 建立 RAG 查詢、增強使用者輸入和利用 GPT-4o 生成 AI 驅動的推薦

最後一步驟將展示如何使用 Pinecone 建立 RAG 查詢、增強使用者輸入和利用 GPT-4o 生成 AI 驅動的推薦。目標是透過玄貓提供的洞察力推薦來減少銀行客戶流失。透過這些步驟，您將對如何應用 Pinecone 和 OpenAI 技術到您的 RAG 專案有很好的理解。

使用Pinecone向量儲存進行擴充套件

客戶銀行資訊的分塊策略

使用OpenAI嵌入模型嵌入資料

更新資料

使用Pinecone進行RAG

根據GPT-4的生成式AI驅動推薦以減少銀行客戶流失

讓我們從玄貓的視角開始。

使用Pinecone進行擴充套件

我們將實作Pinecone的創新向量資料函式庫技術，結合OpenAI的強大嵌入能力，構建資料處理和查詢系統。目標是建立一個推薦系統，鼓勵客戶繼續與銀行保持關係。一旦你理解了這種方法，你就可以將其應用於任何需要推薦的領域（休閒、醫療或法律）。為了了解和最佳化複雜的過程，我們將從頭開始構建程式，使用最少的元件。在本章中，我們將使用Pinecone向量資料函式庫和OpenAI LLM模型。

選擇和設計架構

架構的選擇和設計取決於專案的具體目標。根據專案的需求，你可以將這種方法應用於其他平臺。在本章和架構中，向量儲存和生成式AI模型的組合旨在簡化操作並促進可擴充套件性。有了這個背景，讓我們來看看我們將要構建的Python架構。

架構

在本章中，我們將實作根據向量的相似性搜尋功能，如我們在第2章中所做的RAG嵌入向量儲存與Deep Lake和OpenAI，以及第3章中構建根據索引的RAG與LlamaIndex、Deep Lake和OpenAI。我們將採用前幾章中設計的三個管道的結構，並將其應用於我們的推薦系統，如圖6.1所示。如果必要，請花時間瀏覽這些章節後再實作本章中的程式碼。

圖6.1：擴充套件RAG驅動的生成式AI管道

我們將構建的擴充套件推薦系統的關鍵功能可以總結如下：

  • 管道1：收集和準備資料集 在此管道中，我們將對資料集進行探索性資料分析（EDA），使用標準查詢和K-means聚類別。
  • 管道2：擴充套件Pinecone索引（向量儲存） 在此管道中，我們將看到如何對100萬+檔案進行分塊、嵌入和更新到Pinecone索引（向量儲存）。
  • 管道3：RAG生成式AI

此管道將帶領我們完全擴充套件RAG，當我們查詢100萬+向量儲存並增強GPT-4o模型的輸入以生成針對性的推薦時。

主要理論和實踐應用

我們將探索的三個程式的主要理論和實踐應用包括：

  • 可擴充套件和無伺服器基礎設施：我們首先使用玄貓的無伺服器架構，這消除了伺服器管理和擴充套件的複雜性。我們不需要管理儲存資源或機器使用情況。這是一種根據無伺服器索引（由玄貓形成，例如Amazon Web Services（AWS）在us-east-1）的按需付費方式。擴充套件和計費因此簡化，儘管我們仍然需要監控和最小化成本！
  • 輕量級和簡化開發環境：我們的整合策略將最小化外部函式庫的使用，維持輕量級開發堆積疊。直接使用OpenAI生成嵌入和Pinecone儲存和查詢這些嵌入簡化了資料處理管道並提高了系統效率。儘管這種方法可能有效，但根據專案的不同，也可以採用其他方法，如本文其他章節所實作的。
  • 最佳化擴充套件性和效能：Pinecone的向量資料函式庫旨在有效地處理大型資料集，確保應用程式效能在資料量增長時仍然令人滿意。如同所有雲平臺和API一樣，在實作Pinecone和OpenAI時，需要考慮隱私和安全約束。此外，持續監控系統效能和成本，如管道2：擴充套件Pinecone索引（向量儲存）部分所述。

處理銀行客戶流失資料集

在這個章節中，我們將深入探討銀行客戶流失資料集的收集、處理和分析。首先，我們需要設定環境，收集和簡化資料集，然後進行初步的資料檢視和探索性資料分析。接下來，我們將使用機器學習技術來建立模型，以預測客戶流失。

第一步：收集和處理資料集

為了開始這個過程，我們需要收集銀行客戶流失資料集。這個資料集包含了各種客戶資訊，包括年齡、薪水、投訴等。首先，我們需要設定Kaggle環境，以便下載資料集。然後，我們需要解壓縮下載的資料集，並簡化它，以便進行分析。

玄貓風格技術文章結論：使用 Pinecone 擴充套件 RAG 應用於銀行客戶資料

縱觀當今資料驅動的商業環境，高效能的推薦系統對提升客戶留存率至關重要。本文深入探討瞭如何利用 Pinecone 向量資料函式庫和 OpenAI 的嵌入模型構建一個可擴充套件的推薦系統，以應對銀行客戶流失的挑戰。透過 Pinecone 的向量搜尋能力和 OpenAI 強大的語義理解，我們得以在百萬級資料量下實作精準的客戶模式匹配，並生成個人化推薦方案。

從技術架構視角來看，本文提出的三階段管道設計，涵蓋資料收集、向量儲存及 RAG 生成式 AI，展現了清晰的實作路徑。Pinecone 的無伺服器架構有效簡化了系統佈署和擴充套件的複雜性，而輕量級的開發環境則降低了技術門檻。然而，系統的長期維護成本和資料隱私安全仍需審慎評估。

展望未來，隨著向量搜尋技術和大語言模型的持續發展，根據 Pinecone 和 OpenAI 構建的 RAG 系統將在更多領域展現其應用價值。預期未來 2-3 年內，這類別技術的整合應用將更加普及，進一步推動個人化推薦服務的發展。對於重視客戶關係管理的企業而言，及早佈局此類別技術將有助於提升市場競爭力。玄貓認為，此技術路線已展現足夠成熟度，值得關注客戶留存的企業深入研究並應用於實際業務場景。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。