RAG框架構建智慧時尚推薦引擎

def get_prompt(question, context):
    prompt = f"""問題：{question}
系統：讓我們一步一步地思考。

上下文：{context}

"""
    return prompt

def get_recommendation_prompt(query, context):
    prompt = f"""
根據給定的電影列表資料，選擇幾部優秀的電影推薦。

使用者查詢：{query}

上下文：{context}
電影推薦：
"""
    return prompt

import pandas as pd
import s3fs
import os
import boto3

df = pd.read_json(s3_uri, orient="records", lines=True)
print(df[:3])

from pymongo import MongoClient
mongo_client = MongoClient(os.environ["MONGODB_CONNECTION_STR"])

col = mongo_client["search"]["catalog_final_myn"]
col.insert_many(df.to_dict(orient="records"))

import langchain
from langchain import LLMChain
from langchain.embeddings import HuggingFaceEmbeddings

# 載入資料集
df = pd.read_json(s3_uri, orient="records", lines=True)

# 構建 LLM 模型
llm = LLMChain(llm=langchain.llms.OpenAI(), embeddings=HuggingFaceEmbeddings())

# 實作檢索和生成過程
def retrieve_and_generate(user_utterance):
    # 生成多個可搜尋的時尚查詢
    queries = llm.generate(text=user_utterance, num_return_sequences=5)
    
    # 將使用者的聊天陳述式分類別為是否有購買意圖
    intent = classify_intent(user_utterance)
    
    # 取得多個搜尋查詢的向量相似性搜尋結果
    search_results = []
    for query in queries:
        search_results.append(query_vector_search(query, topK=10))
    
    # 融合搜尋結果和生成結果
    recommendations = fuse_search_results(search_results, intent)
    
    return recommendations

# 整合檢索資訊和生成結果
def fuse_search_results(search_results, intent):
    # 重新排名推薦集
    ranked_recommendations = llm.rank(text=search_results, intent=intent)
    
    return ranked_recommendations

# 測試高階 RAG 系統
user_utterance = "I like fashion products"
recommendations = retrieve_and_generate(user_utterance)
print(recommendations)

[
  {
    "product_id": 123,
    "product_name": "Fashion Product 1",
    "score": 0.8
  },
  {
    "product_id": 456,
    "product_name": "Fashion Product 2",
    "score": 0.7
  },
 ...
]

{
  "fields": [
    {
      "type": "vector",
      "numDimensions": 1536,
      "path": "openAIVec",
      "similarity": "cosine"
    }
  ]
}

from langchain_core.output_parsers import JsonOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_openai import ChatOpenAI
from langchain_community.embeddings import OpenAIEmbeddings
from langchain_mongodb.vectorstores import MongoDBAtlasVectorSearch
from pymongo import MongoClient
from typing import List
from itertools import chain
import certifi
import os

from dotenv import load_dotenv
load_dotenv()
from functools import lru_cache

@lru_cache
def get_openai_emb_transformers():
    """
    傳回 OpenAIEmbeddings 的例項，用於 OpenAI 變壓器模型。
    這個函式建立並傳回 OpenAIEmbeddings 類別的例項，
    該例項提供存取 OpenAI 變壓器模型以進行自然語言處理的功能。
    例項使用 lru_cache 裝飾器進行快取，以便於高效重用。
    傳回：
    embeddings (OpenAIEmbeddings): OpenAIEmbeddings 類別的例項。
    """
    embeddings = OpenAIEmbeddings()
    return embeddings

@lru_cache
def get_vector_store():
    """
    取得 MongoDB Atlas 的向量儲存。
    傳回：
    MongoDBAtlasVectorSearch: 向量儲存物件。
    """
    vs = MongoDBAtlasVectorSearch(collection=col,
                                  embedding=get_openai_emb_transformers(),
                                  index_name="vector_index_openAi_cosine",
                                  embedding_key="openAIVec", text_key="title")
    return vs

@lru_cache(10)
def get_conversation_chain_conv():
    """
    取得聊天對話的對話鏈模型。
    傳回：
    ChatOpenAI: 聊天對話的對話鏈模型。
    """