LLM自主代理與ReAct框架整合應用

def react_framework(llm, initial_prompt, max_iterations=10):
    current_prompt = initial_prompt
    iteration = 0
    
    while iteration < max_iterations:
        action = llm.get_action(current_prompt)
        observation = execute_action(action)
        
        if is_final_answer(observation):
            return observation
        
        current_prompt = update_prompt(current_prompt, action, observation)
        iteration += 1
    
    return "Maximum iterations reached."

# #### 內容解密：
# 此程式碼範例展示了ReAct框架的基本實作邏輯。首先，它定義了一個函式`react_framework`，該函式接受一個LLM例項、初始提示和最大迭代次數作為引數。然後，它進入一個迴圈，在每次迭代中，LLM根據當前提示採取行動，並觀察結果。如果觀察結果是最終答案，則傳回；否則，更新提示並繼續下一次迭代，直到達到最大迭代次數。


## ReAct框架的深入解析與實作

ReAct框架結合任務分解、思考迴圈及多工具運用來解決複雜問題。本文將探討ReAct框架的核心概念及其Python實作。

### ReAct的思考迴圈機制

ReAct的核心在於其思考迴圈（thought loop），這個過程包括以下步驟：

1. **觀察環境**：接收並理解輸入的問題或環境資訊。
2. **解釋環境**：根據觀察結果進行思考和分析。
3. **決定行動**：選擇適當的工具或行動方案。
4. **執行行動**：使用選定的工具或方法來執行決定的行動。
5. **重複迴圈**：持續執行上述步驟直到找到解決方案或達到迭代次數上限。

#### 實務應用中的思考迴圈範例

在實際應用中，思考迴圈可能涉及多個不同的工具和複雜的決策過程。以下是一個簡化的範例來說明這個過程：

1. **觀察原始問題**：理解輸入的問題內容。
2. **產生觀察結果**：根據對問題的理解產生初步的觀察結果。
3. **形成思考**：根據觀察結果進行深入的思考和分析。
4. **選擇並執行行動**：利用可用的工具來執行決定的行動。
5. **評估結果並重複**：根據執行動動後的結果進行評估，並決定是否需要重複迴圈。

### ReAct提示詞的設計

要實作ReAct框架，需要精心設計提示詞（prompt）來引導大語言模型（LLM）按照預定的思考迴圈進行問題解決。一個典型的ReAct提示詞包含以下元素：

- **問題陳述**：明確需要解決的問題。
- **可用工具**：列出可以使用的工具及其功能描述。
- **思考迴圈指示**：引導LLM按照觀察、思考、行動的步驟進行問題解決。

#### ReAct提示詞範例

```plaintext
你將嘗試解決找到問題答案的任務。使用鏈式思考推理來解決問題，遵循以下模式：
1. 觀察原始問題：original_question: 原始問題文字
2. 建立觀察結果：observation: 觀察結果文字
3. 根據觀察結果建立思考：thought: 思考文字
4. 使用工具對思考採取行動：action: 工具名稱，action_input: 工具輸入

不要猜測或假設工具的結果。相反，提供一個結構化的輸出，包括action和action_input。
你有權存取以下工具：{tools}。
原始問題：{question}

根據提供的工具結果：
要麼提供下一個觀察結果、action、action_input，要麼提供最終答案（如果可用）。
如果您提供最終答案，則必須傳回以下模式：
"我已找到答案：最終答案"

import re

def extract_action_and_input(text):
    # 編譯正規表示式模式
    action_pattern = re.compile(r"(?i)action\s*:\s*([^\n]+)", re.MULTILINE)
    action_input_pattern = re.compile(r"(?i)action\s*_*input\s*:\s*([^\n]+)", re.MULTILINE)

    # 查詢所有action和action_input的出現
    actions = action_pattern.findall(text)
    action_inputs = action_input_pattern.findall(text)

    # 提取最後一次出現的action和action_input
    last_action = actions[-1] if actions else None
    last_action_input = action_inputs[-1] if action_inputs else None

    return last_action, last_action_input

# 範例文字
text = """
Action: search_on_google
Action_Input: Tom Hanks's current wife
action: search_on_wikipedia
action_input: How old is Rita Wilson in 2023
action : search_on_google
action input: some other query
"""

last_action, last_action_input = extract_action_and_input(text)
print("Last Action:", last_action)
print("Last Action Input:", last_action_input)

action_pattern = re.compile(r"(?i)action\s*:\s*([^\n]+)", re.MULTILINE)
action_input_pattern = re.compile(r"(?i)action\s*_*input\s*:\s*([^\n]+)", re.MULTILINE)

import re

def extract_last_action_and_input(text):
    # 編譯正規表示式模式
    action_pattern = re.compile(r"(?i)action\s*:\s*([^\n]+)", re.MULTILINE)
    action_input_pattern = re.compile(r"(?i)action\s*_*input\s*:\s*([^\n]+)", re.MULTILINE)
    
    # 查詢所有符合的動作和動作輸入
    actions = action_pattern.findall(text)
    action_inputs = action_input_pattern.findall(text)
    
    # 提取最後一個符合的動作和動作輸入
    last_action = actions[-1] if actions else None
    last_action_input = action_inputs[-1] if action_inputs else None
    
    return {"action": last_action, "action_input": last_action_input}

# 示例文字
text = """
action: search_on_google
action_input: some query
...
action: search_on_google
action_input: some other query
"""

# 提取資訊
result = extract_last_action_and_input(text)
print(result)  # {'action': 'search_on_google', 'action_input': 'some other query'}

from langchain_openai.chat_models import ChatOpenAI
from langchain.prompts.chat import SystemMessagePromptTemplate

# 初始化 ChatOpenAI 例項
chat = ChatOpenAI(model_kwargs={"stop": ["tool_result:"]})

# 定義可用工具
tools = {
    "search_on_google": {
        "function": lambda query: f"Jason Derulo doesn't have a wife or partner.",
        "description": "Searches on google for a query",
    }
}

# 設定基礎提示範本
base_prompt = """
You will attempt to solve the problem of finding the answer to a question.
...
"""

# 生成模型輸出
output = chat.invoke(SystemMessagePromptTemplate.from_template(template=base_prompt).format_messages(tools=tools, question="Is Jason Derulo with a partner?"))
print(output)