微調大語言模型最佳化RAG資料處理

{"prompt": "問題內容", "completion": "答案內容"}

import openai

# 載入資料
with open('data.jsonl', 'r') as f:
    data = f.readlines()

# 微調模型
response = openai.File.create(file=data, purpose='fine-tune')
model = openai.FineTune.create(training_file=response.id, model="gpt-4o-mini")

# 檢視微調結果
print(model)

# 取得微調任務的詳細資訊
fine_tune_info = openai.FineTune.retrieve(id=model.id)

# 檢視訓練損失
training_loss = fine_tune_info['result_files'][0]['training_loss']
print(f"訓練損失: {training_loss}")

# 使用微調模型進行推理
response = openai.Completion.create(model=model.id, prompt="你的問題")

# 輸出結果
print(response.choices[0].text)

import openai

# 初始化 OpenAI 使用者端
client = openai.OpenAI(api_key="YOUR_API_KEY")

# 使用 Sora 生成影片
response = client.videos.generate(
    prompt="A basketball player scoring with a dunk",
    model="sora-v1"
)

# 下載生成的影片
video_data = client.videos.download(response.id)

# 將影片分解為影格並生成註解
frames = extract_frames(video_data)
comments = []
for frame in frames:
    comment = client.images.generate_comment(
        image=frame,
        model="gpt-4o"
    )
    comments.append({
        "frame_number": frame.number,
        "comment": comment,
        "video_id": response.id
    })

#### 內容解密：
此段程式碼展示瞭如何利用 OpenAI 的 Sora 模型生成影片，並使用 GPT-4o 模型為影片的每個影格生成詳細註解。其中，`extract_frames` 函式負責將影片分解為單獨的影格，而 `generate_comment` 則利用視覺模型分析每個影格並生成相應的技術註解。

### 向量資料函式庫的管理與查詢

在生成影片和註解後，我們需要將這些註解向量化並儲存至 Pinecone 向量資料函式庫中，以便進行高效的相似度查詢。以下是實作向量資料函式倉管理的關鍵步驟：

1. **向量化註解**：使用適當的嵌入模型將文字註解轉換為向量表示。
2. **上傳向量至 Pinecone**：將向量化的註解儲存至 Pinecone 索引中。
3. **查詢相關影片**：根據使用者輸入的查詢條件，在 Pinecone 中檢索最相關的影片註解。

```python
import pinecone

# 初始化 Pinecone 使用者端
pinecone.init(api_key="YOUR_API_KEY", environment="YOUR_ENV")
index = pinecone.Index("video-comments-index")

# 向量化註解並上傳至 Pinecone
for comment in comments:
    vector = embed(comment["comment"])
    index.upsert([
        (f"{comment['video_id']}-{comment['frame_number']}", vector)
    ])

# 查詢相關影片
query_vector = embed("basketball player dunking")
results = index.query(
    vector=query_vector,
    top_k=5
)

#### 內容解密：
此範例程式碼展示瞭如何使用 Pinecone 向量資料函式庫儲存和管理影片註解的向量表示。其中，`embed` 函式負責將文字註解轉換為向量，而 `upsert` 操作則將這些向量儲存至指定的索引中。查詢時，我們同樣將使用者輸入的查詢條件向量化，並利用 Pinecone 的查詢功能檢索最相關的影片註解。

### 影片專家代理的進階功能

影片專家代理負責處理使用者輸入、查詢向量資料函式庫，並利用 OpenAI 的 GPT-4o 模型生成最終的影片描述和標籤。以下是該代理的關鍵功能實作：

1. **增強使用者輸入**：將使用者輸入與檢索到的相關註解結合，形成增強的查詢請求。
2. **分析與生成描述**：利用 GPT-4o 模型分析增強後的查詢請求，生成準確的影片描述。
3. **自動標籤影片**：根據生成的描述自動為影片新增適當的標籤。

```python
# 增強使用者輸入
augmented_query = f"{user_input} {relevant_comment}"

# 使用 GPT-4o 生成影片描述
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "Generate a detailed description of the video."},
        {"role": "user", "content": augmented_query}
    ]
)

# 自動標籤影片
labels = extract_labels(response.choices[0].message.content)

#### 內容解密：
此程式碼片段展示瞭如何利用 GPT-4o 模型根據增強的使用者輸入生成詳細的影片描述。其中，`augmented_query` 結合了原始使用者輸入和檢索到的相關註解，以提供更豐富的上下文資訊。最終生成的描述不僅能夠準確反映影片內容，還能根據需求自動提取相關標籤。

### 系統評估與指標計算

為了確保系統的效能和輸出品質，我們需要實施適當的評估機制和指標計算。以下是一些關鍵的評估維度：

1. **影片生成品質**：評估生成的影片是否符合預期主題和品質標準。
2. **註解準確性**：檢查自動生成的註解是否準確反映影片內容。
3. **查詢相關性**：評估系統根據使用者輸入傳回的影片是否相關且符合需求。

透過這些評估維度，我們可以持續最佳化系統的各個組成部分，以提供更優質的影片函式庫服務。


## 自動化影片生產系統的RAG實作

### 影片生產生態系統的RAG技術
Figure10.2展示了一個結合生成式AI代理的影片生產生態系統。該系統包含三個主要流程：

#### Pipeline1：生成器與評論器
生成器利用OpenAI Sora生成AI影片。評論器將影片分割成幀，並使用OpenAI的視覺模型對每個幀進行評論。評論結果將被儲存。

#### Pipeline2：向量儲存管理員
該流程將Pipeline1生成的評論嵌入並上傳至Pinecone索引。

#### Pipeline3：影片專家
此流程根據使用者輸入查詢Pinecone向量儲存，傳回最相似的影片幀，並結合技術評論。接著，利用OpenAI GPT-4o找出影片中的邏輯缺陷，給出針對性的評論和標籤。同時，該部分包含評估函式（評估器）和指標計算。

### 系統特點
- 時間測量功能被封裝在多個關鍵功能中。
- 該RAG影片生產系統透過一次處理一個影片、使用CPU和少量記憶體，並利用Pinecone的儲存能力，實作了無限擴充套件。
- 展示了自動化影片生產的概念，但實際應用需要大量工作。

### 環境設定
本章的GitHub目錄（Chapter10）包含四個notebook的環境設定：
1. Videos_dataset_visualization.ipynb
2. Pipeline_1_The_Generator_and_the_Commentator.ipynb
3. Pipeline_2_The_Vector_Store_Administrator.ipynb
4. Pipeline_3_The_Video_Expert.ipynb

每個notebook都包含相同的初始設定部分，包括：
- 安裝環境
- 匯入模組和函式庫
- GitHub相關功能
- 影片下載與顯示功能
- OpenAI相關設定
- Pinecone相關設定

### 匯入模組和函式庫
為了建立一個通用的預生產環境，四個notebook中匯入了相同的模組和函式庫：

```python
from IPython.display import HTML # 用於顯示影片
import base64 # 用於將影片編碼為base64
from base64 import b64encode # 用於將影片編碼為base64
import os # 用於與作業系統互動
import subprocess # 用於執行命令
import time # 用於測量執行時間
import csv # 用於儲存評論
import uuid # 用於生成唯一ID
import cv2 # 用於分割影片
from PIL import Image # 用於顯示影片
import pandas as pd # 用於顯示評論
import numpy as np # 用於使用數值運算
from io import BytesIO # 用於管理記憶體中的二進位制資料流

def download(directory, filename):
    base_url = 'https://raw.githubusercontent.com/Denis2054/RAG-Book/main/Chapter10/'
    file_url = f"{base_url}{directory}/{filename}"
    try:
        curl_command = f'curl -o {filename} {file_url}'
        subprocess.run(curl_command, check=True, shell=True)
        print(f"成功下載 '{filename}'")
    except subprocess.CalledProcessError:
        print(f"下載 '{filename}' 失敗。請檢查URL。")

# 從檔案讀取API金鑰
from google.colab import drive
drive.mount('/content/drive')
f = open("drive/MyDrive/files/api_key.txt", "r")
API_KEY = f.readline()
f.close()