大語言模型提示工程技術與實踐

– 13 分鐘閱讀

隨著大語言模型（LLM）的快速發展，提示工程技術變得越來越重要。精確的提示工程技術不僅能提升情感分析的準確性，還能有效引導 LLM 生成高品質的回應。本文將探討如何利用提示工程技術構建 Flask 應用程式、進行單元測試，並最終提升 LLM 的回應品質。對於情感分析，預處理輸入文字至關重要，例如移除特殊字元、轉換為小寫和拼寫糾正。清晰的指令、範例和輸出格式定義也有助於提高 LLM 的理解能力。在 Flask 應用程式開發中，Least to Most 技術可以逐步構建應用程式架構、編寫函式和新增測試。角色提示技術則可以引導 LLM 生成更具針對性和相關性的測試案例。為了提升 LLM 的回應品質，持續監控和評估回應至關重要。提供參考文字和指定回應格式可以有效避免幻覺並提高回應的一致性。

詳細圖表說明

圖表1：Tiktoken分詞流程圖

  graph LR;
    A[輸入文字] --> B[tiktoken編碼];
    B --> C[轉換為標記];
    C --> D[計算標記數量];
    D --> E[輸出結果];

圖表翻譯： 此圖表展示了使用Tiktoken進行文字分詞的基本流程。首先，輸入文字被送入tiktoken編碼器，接著被轉換為一系列標記。然後，計算這些標記的數量，最後輸出結果。

圖表2：Chat API呼叫標記用量估算流程圖

  graph LR;
    A[輸入訊息列表] --> B[選擇模型];
    B --> C[根據模型規則計算標記數量];
    C --> D[輸出標記數量];

圖表翻譯： 此圖表說明瞭估算Chat API呼叫標記用量的流程。首先，輸入訊息列表和選擇的模型，接著根據所選模型的規則計算訊息列表中的標記數量，最後輸出計算結果。

提升情感分析準確性的技術實踐與挑戰

情感分析是自然語言處理中的重要任務，旨在識別文字中表達的情感傾向。隨著大語言模型（LLM）的發展，情感分析的準確性得到了顯著提升。然而，要達到理想的分析效果，仍需依賴精確的提示工程技術和適當的文字預處理。

情感分析中的提示工程實踐

在進行情感分析時，提供清晰的指令和範例對於引導LLM正確理解任務至關重要。以下是一個改進後的提示範例：

輸入：

使用以下範例作為：

  • 積極：‘我絕對喜歡這支手機的設計！’
  • 消極：‘電池壽命相當令人失望。’
  • 中立：‘我喜歡這產品，但它的電池壽命很短。’

請將以下文字的情感分類別為積極、消極或中立，並僅傳回單一詞彙：

  • 積極
  • 消極
  • 中立

文字：‘我絕對喜歡這支手機的設計，但電池壽命相當令人失望。’

輸出：

中立

這個提示範例之所以更有效，是因為它：

  1. 提供清晰的指令：明確指出任務是將給定文字分類別為三種情感類別之一。
  2. 提供範例：為每個情感類別提供了範例，有助於理解上下文和期望輸出。
  3. 定義輸出格式：指定輸出應為單一詞彙，確保回應簡潔易懂。

提升情感分析準確性的技術

為了增強情感分析的準確性，預處理輸入文字是一個關鍵步驟。這包括：

  1. 移除特殊字元：表情符號、hashtags和標點符號可能會影響根據規則的情感分析演算法的判斷。此外，這些字元可能不被機器學習和深度學習模型識別，導致錯誤分類別。

    import re
def remove_special_chars(text):
    return re.sub(r'[^a-zA-Z0-9\s]', '', text)

    內容解密：

    這段程式碼定義了一個函式 remove_special_chars，用於移除輸入文字中的特殊字元。它使用正規表示式來匹配非字母、數字和空白字元，並將其替換為空字串，從而達到清理文字的目的。

  2. 轉換為小寫：將所有字元轉換為小寫有助於建立一致性。例如，像"Happy"和"happy"這樣的詞語會被模型視為不同的詞語，這可能導致重複和不準確性。

    def convert_to_lowercase(text):
    return text.lower()

    內容解密：

    這個函式 convert_to_lowercase 將輸入文字中的所有大寫字母轉換為小寫，以確保在後續處理中不會因為大小寫不同而將相同的詞語視為不同的實體。

  3. 拼寫糾正：拼寫錯誤可能導致誤解和錯誤分類別。建立拼寫檢查流程可以顯著減少這些錯誤並提高結果的準確性。

    from pyspellchecker import SpellChecker

def correct_spelling(text):
    spell = SpellChecker()
    words = text.split()
    misspelled = spell.unknown(words)
    for word in misspelled:
        corrected_word = spell.correction(word)
        text = text.replace(word, corrected_word)
    return text

    內容解密：

    correct_spelling 函式使用 pyspellchecker 函式庫來檢查並糾正文字中的拼寫錯誤。它首先識別出拼寫錯誤的詞語，然後用正確的拼寫替換它們，以提高文字的品質。

對於行業或領域特定的文字，在提示中嵌入領域特定內容有助於引導LLM理解文字框架和情感，從而提高分類別準確性，並增強對特定術語和表達方式的理解。

情感分析中的限制與挑戰

儘管LLM和提示工程技術取得了進展，情感分析仍然面臨一些限制和挑戰：

  1. 處理諷刺和反語：檢測文字中的諷刺和反語對LLM來說可能很困難，因為這通常需要理解人類可以輕易識別的上下文和微妙線索。誤解諷刺或反語陳述可能導致不準確的情感分類別。

  2. 識別上下文特定的情感：在處理與領域特定術語或文化表達相關的上下文特定情感時，情感分析可能具有挑戰性。如果沒有適當的指導或領域特定範例，LLM可能會難以準確分類別這些情況下的情感。

最少到最多（Least to Most）技術在提示工程中的應用

最少到最多技術是一種強大的提示工程方法，用於按順序生成或提取關於給定主題的越來越詳細的知識。當處理複雜主題或需要高度詳細資訊時，這種方法特別有效。

規劃架構：以Flask “Hello World”應用程式為例

首先，讓我們簡要了解什麼是Flask。Flask是一個輕量級的Python Web應用框架，廣泛用於快速建立Web應用程式。

輸入：

為一個簡單的Flask “Hello World”應用程式概述基本架構。

輸出：

以下是簡單Flask “Hello World”應用程式的架構概述：

  1. 匯入Flask模組。
  2. 建立Flask應用程式例項。
  3. 定義路由和檢視函式。
  4. 實作檢視函式。
  5. 執行應用程式。

編寫個別函式

在編寫程式碼之前，讓我們澄清什麼是Flask路由：它是一個與URL模式相關聯的函式，用於決定使用者在特定網頁上看到的內容。接下來，我們將提供簡單“Hello World”路由的程式碼片段。

輸入：

提供一個簡單“Hello World”路由的Flask程式碼片段。

輸出：
from flask import Flask
app = Flask(__name__)

@app.route('/')
def hello_world():
    return 'Hello, World!'

if __name__ == '__main__':
    app.run()

內容解密：

這段程式碼匯入了Flask模組並建立了一個名為app的Flask應用程式例項。然後，它使用@app.route裝飾器定義了一個路由，指定了根URL路徑’/’。hello_world函式與此路由相關聯，並傳回字串’Hello, World!‘作為回應。當Python指令碼直接執行時，透過呼叫app.run()來啟動Flask開發伺服器。

新增測試

最後，讓我們要求它為Flask應用程式中的“Hello World”路由生成一個測試案例。

輸入：

為Flask應用程式中的“Hello World”路由提供一個測試案例範例。

輸出：
import unittest
from flask import Flask

app = Flask(__name__)

@app.route('/')
def hello_world():
    return 'Hello, World!'

class TestHelloWorldRoute(unittest.TestCase):
    def test_hello_world(self):
        tester = app.test_client()
        response = tester.get('/')
        self.assertEqual(response.status_code, 200)
        self.assertEqual(response.data.decode(), 'Hello, World!')

if __name__ == '__main__':
    unittest.main()

內容解密：

這個測試案例使用unittest框架來測試“Hello World”路由。它建立了一個測試客戶端來模擬對根URL的GET請求，並斷言回應狀態碼為200且回應資料為’Hello, World!’。

使用Flask進行單元測試的最佳實踐

在開發Web應用程式時，單元測試是確保程式碼品質和穩定性的重要步驟。Flask作為一個輕量級的Web框架，提供了豐富的測試工具和API，方便開發者進行單元測試。本文將探討如何使用Flask進行單元測試，並介紹相關的最佳實踐。

Flask單元測試基礎

在Flask中，單元測試通常使用Python內建的unittest模組來實作。下面是一個簡單的Flask應用程式範例及其對應的單元測試：

from flask import Flask
import unittest

app = Flask(__name__)

@app.route('/')
def hello_world():
    return 'Hello, World!'

class FlaskAppTestCase(unittest.TestCase):
    def setUp(self):
        # Create a test client
        self.app = app.test_client()

    def test_hello_world_route(self):
        # Send a GET request to the route
        response = self.app.get('/')
        # Check the response status code
        self.assertEqual(response.status_code, 200)
        # Check the response data
        self.assertEqual(response.data, b'Hello, World!')

if __name__ == '__main__':
    unittest.main()

內容解密：

  1. 建立測試客戶端：在setUp方法中，我們使用app.test_client()建立了一個測試客戶端，用於模擬HTTP請求。
  2. 測試路由：在test_hello_world_route方法中，我們使用測試客戶端發送了一個GET請求到根路由（’/’），並檢查了回應的狀態碼和資料是否符合預期。
  3. unittest.main()：當指令碼被直接執行時，unittest.main()會自動發現並執行所有以test開頭的測試方法。

使用Least to Most技術進行任務分解

在進行複雜任務的單元測試時，可以採用Least to Most技術，將任務分解為更小、更易於管理的部分。這種方法允許模型逐步生成所需的知識和理解。

Least to Most技術的優點

  1. 漸進式探索：將複雜問題分解為更小的任務，可以讓模型在每個步驟中提供更詳細和準確的資訊。
  2. 靈活性：這種技術提供了處理問題不同方面的靈活性，可以根據需要轉向、探索替代方案或深入特定領域。
  3. 提高理解度：透過將任務分解為更小的步驟，模型可以以更容易理解的格式提供資訊。
  4. 協作學習：這種技術促進了使用者和模型之間的協作，透過迭代過程來改進輸出並調整回應以達到預期的結果。

使用Mermaid圖表展示Least to Most技術流程

  graph LR;
    A[開始] --> B[任務分解];
    B --> C[逐步執行];
    C --> D[評估結果];
    D --> E[調整策略];
    E --> F[完成任務];

圖表翻譯： 此圖示展示了Least to Most技術的流程，從任務分解開始，逐步執行並評估結果，根據需要調整策略，最終完成任務。

角色提示技術在單元測試中的應用

角色提示技術是一種透過為AI指定特定角色或角色來引導其回應風格和內容的技術。在單元測試中，這種技術可以幫助生成更具針對性和相關性的測試案例。

角色提示技術的優點

  1. 提高相關性：透過指定角色，可以使AI的回應更加聚焦和相關。
  2. 增強創造力：這種技術可以促進AI從獨特的角度思考和回應。

挑戰與注意事項

  1. 偏見風險：指定角色可能會引入偏見或刻板印象，因此需要謹慎使用。
  2. 評估品質：需要評估每個先前LLM回應的品質，以確保後續任務的成功。

提升大語言模型（LLM）回應品質的關鍵策略

在與大語言模型（LLM）互動的過程中，保持角色一致性對於獲得高品質的回應至關重要。然而，在長時間的互動中，模型可能會偏離既定的角色，導致回應內容與預期不符。因此，持續監控模型的回應品質是必要的。

評估回應品質

持續檢查LLM的回應品質，特別是在使用角色提示（Role Prompting）的情況下，確保模型始終遵循所分配的角色，並避免偏離主題。

角色提示的使用時機

角色提示在以下情況特別有用：

  1. 取得特定專業知識：當需要模型提供特定領域的專業知識或專門技能時，角色提示可以引導LLM生成更準確、更具資訊量的回應。

  2. 調整回應風格：透過分配特定的角色，可以影響LLM生成回應的語氣、風格或觀點，例如正式、隨意或幽默的回應。

  3. 鼓勵創意回應：角色提示可以用於創造虛構場景或生成富有想像力的答案，例如分配角色為故事講述者、小說人物或歷史人物。

  4. 探索多樣觀點：透過要求模型承擔不同的角色或人物，可以更全面地理解某個主題，從而獲得多角度的見解。

  5. 增強使用者參與度：角色提示可以使互動更加有趣和吸引人，讓LLM承擔與使用者產生共鳴的角色或人物。

GPT提示策略

除了已經討論過的提示策略，如請求上下文、文字風格捆綁、由少到多（Least to Most）和角色提示外，還有其他一些策略值得探索，包括：

  1. 避免幻覺（Hallucinations）與參考文字：透過提供相關的參考文字，指示模型僅根據這些文字進行回答，可以有效減少模型產生幻覺的可能性。

  2. 給予方向和指定格式：明確指示模型如何找到答案，並設定特定的回應格式，可以提高回應的準確性和一致性。

使用參考文字避免幻覺

提供準確和相關的資訊給模型，並指示其僅使用這些資訊進行回答，可以減少錯誤資訊的產生。例如：


### 輸入：
參照三重引號內的文章來回答問題。如果答案不在這些文章中，請傳回「我找不到答案」。

"""
B2B客戶往往具有較長的決策過程，因此銷售漏斗較長。對於這些客戶，關係建立策略更為有效，而B2C客戶則更能對短期促銷和訊息做出反應。
"""

### 示例回應：
- 我找不到答案。
- 是的，B2B客戶往往具有較長的決策過程，因此銷售漏斗較長。

給予方向和指定格式

透過指示模型如何找到答案並設定特定的回應格式，可以提高回應的一致性和準確性。例如：


### 輸入：
您將獲得一份由三重引號分隔的檔案和一個問題。您的任務是僅使用提供的檔案來回答問題，並參照用於回答問題的檔案段落。如果檔案中沒有回答問題所需的資訊，則只需寫：「資訊不足」。如果提供了問題的答案，則必須使用以下格式進行參照（{"citation": ...}）。

"""
核反應堆積是一種啟動、控制和維持核鏈式反應的裝置。核反應堆積利用核裂變釋放的能量產生熱量，通常用於產生蒸汽以驅動渦輪機並發電。
-摘自 https://en.wikipedia.org/wiki/Nuclear_reactor
"""

### 問題：什麼是核反應堆積？

### 輸出：
核反應堆積是一種啟動、控制和維持核鏈式反應的裝置。它利用核裂變釋放的能量產生熱量，通常用於產生蒸汽以驅動渦輪機並發電。{"citation": "核反應堆積是一種啟動、控制和維持核鏈式反應的裝置。核反應堆積利用核裂變釋放的能量產生熱量，通常用於產生蒸汽以驅動渦輪機並發電。"}

程式碼實作範例

以下是一個簡單的Python指令碼，用於示範如何構建一個根據參考文字回答問題的系統：

def answer_question(reference_text, question):
    # 簡單實作：檢查問題是否能在參考文字中找到答案
    if question.lower() in reference_text.lower():
        return reference_text
    else:
        return "我找不到答案。"

reference_text = """
B2B客戶往往具有較長的決策過程，因此銷售漏斗較長。對於這些客戶，關係建立策略更為有效，而B2C客戶則更能對短期促銷和訊息做出反應。
"""

question = "B2B客戶的決策過程是否較長？"
print(answer_question(reference_text, question))

內容解密：

此Python指令碼定義了一個名為answer_question的函式，該函式接受兩個引數：reference_text和question。它簡單地檢查question是否出現在reference_text中（不區分大小寫），如果出現，則傳回reference_text；否則，傳回「我找不到答案。」此範例展示瞭如何根據給定的參考文字來回答問題的基本邏輯。

隨著大語言模型（LLM）的持續發展，我們可以預期在未來看到更多創新性的應用和改進。例如，更先進的角色提示技術可能會被開發出來，以進一步提高模型的角色一致性和回應準確性。此外，將LLM與其他AI技術（如知識圖譜和推理引擎）相結合，可能會開啟新的可能性，為使用者提供更深入、更全面的見解和支援。為了實作這些目標，研究人員和開發者需要繼續探索新的方法和技術，不斷推動LLM的發展和應用邊界。

LLM提示策略框架

  graph LR;
    A[角色提示] --> B[取得特定專業知識];
    A --> C[調整回應風格];
    A --> D[鼓勵創意回應];
    A --> E[探索多樣觀點];
    A --> F[增強使用者參與度];
    G[避免幻覺] --> H[使用參考文字];
    G --> I[給予方向和指定格式];
    J[GPT提示策略] --> A;
    J --> G;

圖表翻譯： 此圖表展示了大語言模型（LLM）的提示策略框架。主要分為兩個部分：角色提示和其他GPT提示策略。角色提示包括取得特定專業知識、調整回應風格、鼓勵創意回應、探索多樣觀點和增強使用者參與度等功能。其他GPT提示策略則涵蓋了避免幻覺的方法，如使用參考文字和給予方向及指定格式等。這些策略共同構成了提升LLM回應品質和相關性的關鍵要素。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。