隨著大語言模型的興起，構建功能強大的聊天機器人已成為可能。本文深入探討如何根據大語言模型開發聊天機器人，並著重強調 MLOps 流程的重要性。從使用者介面整合到提示工程的最佳化，文章逐步解析每個環節的技術細節。特別關注資料準備和模型微調，以確保聊天機器人能準確理解使用者意圖並提供適切的回應。此外，文章也強調持續監控使用者互動和反饋，以便不斷調整提示策略和模型，最終提升聊天機器人的效能和使用者經驗。探索性資料分析的應用也讓開發者能更深入地理解使用者行為模式，進而設計更有效的提示工程策略。最後，文章也闡述了 MLOps 如何在提升效率、可擴充套件性和降低風險方面發揮關鍵作用，確保聊天機器人服務的穩定性和可靠性。
13.5.5 使用者介面/回應記錄
一旦模型透過 Model Serving 端點實施，應用程式可以透過此端點與聊天機器人互動。Databricks Model Serving 提供了一個佈署、管理和查詢 AI 模型的介面，使每個模型都可作為 REST API 整合到 Web 或客戶端應用程式中。它支援高用性和低延遲的模型佈署，根據需求自動縮放。
我們選擇使用組織現有的訊息系統（如 Microsoft Teams）作為聊天機器人的前端。這個選擇消除了對額外應用程式開發和維護的需求。透過玄貓，可以從各種環境和裝置存取，我們減少了員工的學習曲線，並避免了為不同的瀏覽器和移動裝置提供不同的應用版本。
圖 13.2 顯示，啟動提示工程是一個在開發功能性聊天機器人中至關重要的第一步。然而，在具有未知使用者互動模式的新環境中佈署聊天機器人時，我們確定了最佳的提示設計方法是監控使用者問題和反饋（喜歡或不喜歡）。這些資料有助於有效地定製提示，並對於潛在的模型微調也很有價值，如果預建模型被證明是不夠的。此外，跟蹤使用者印象有助於持續評估模型。我們將在下一節進一步討論這個問題。告知使用者從他們第一次使用聊天機器人的那一刻起，他們的互動和反應正在被記錄是很重要的。
13.6 ARM Hub 中的 MLOps
在第 5 章中，我們介紹了 MLOps 作為適用於狹義機器學習模型和 FM 的一般過程。在本文中，我們描述了該過程如何適應 ARM Hub。MLOps 在機器學習倡議中的範圍可以有很大差異，從包括資料準備在內的全面覆寫到生產管道，到像模型佈署這樣更具體的任務。通常，企業在幾個關鍵領域應用 MLOps 原則。
- 探索性資料分析（EDA）
- 資料準備/攝取和提示工程
- 模型微調
- 模型審查和治理
- 模型推理和服務
- 模型評估
在以下章節中，我們將深入探討如何實施這些原則，以最佳實踐增強我們根據 LLM 的服務的有效性。遵循這些原則將確保我們的聊天機器人即服務提供具有成功的生產級服務的關鍵特徵，包括健壯性、安全性和隱私措施、可追蹤性、可監控性以及效能和可擴充套件性。此外，它還確保服務隨時間推移而演變的能力。需要注意的是，具體步驟可能會根據每個 SME 製造聊天機器人的唯一需求而有所不同。為了說明我們的見解，我們將分享整個過程中獲得的經驗和見解。
13.6.1 ARM Hub 中 MLOps 的益處
MLOps 的關鍵優勢，確保根據服務的 LLM 實施有效，包括：
- 效率：它加速了模型和管道開發，改善了模型品質，並加快了生產佈署。
- 可擴充套件性和管理：MLOps 支援大規模操作，允許管理、控制和監控數千個模型，促進連續整合、交付和佈署。
- 風險降低：MLOps 提高了法規遵從性和監督反應，確保遵守組織或行業標準。例如，在 SME 製造中，MLOps 確保遵守 ARM Hub 的負責任 AI 使用。
13.6.2 探索性資料分析（EDA）
與使用大型 LLM 建立聊天機器人只需輸入檔案並讓模型處理其餘工作的看法相反，我們的經驗強調了內容意識對於聊天機器人成功的重要性。LLM 應用中的 EDA，特別是聊天機器人，是一個多導向的過程。我們始終從對訓練資料進行全面分析開始，檢查其結構，找出模式，找出異常，找出安全性和隱私風險，並瞭解之間的相互關係。這一步對於聊天機器人開發至關重要，關注聊天機器人將遇到的查詢和對話型別。它涉及區分不同型別的查詢和對話，並瞭解使用者行為模式。
這種分析有助於我們瞭解聊天機器人將面臨哪些型別的查詢和對話，並有助於我們設計出更有效的提示工程策略。透過瞭解使用者行為模式，我們可以設計出更符合使用者需求的聊天機器人，並提高整體使用者經驗。
此外，EDA 還有助於我們瞭解聊天機器人的侷限性和潛在風險。透過找出異常和安全風險，我們可以採取措施來緩解這些風險，並提高聊天機器人的安全性和可靠性。
總之，EDA 是聊天機器人開發中的一個關鍵步驟，有助於我們瞭解使用者行為模式、設計出更有效的提示工程策略、並提高整體使用者經驗。透過進行全面分析，我們可以設計出更好的聊天機器人，以滿足使用者的需求並提高整體使用者經驗。
資料準備與模型微調的重要性
在聊天機器人和大語言模型（LLM）的應用中，資料準備和模型微調是兩個至關重要的步驟。資料準備涉及收集、分析、清理和組織資料，以確保其品質和結構能夠滿足模型的需求。另一方面，模型微調則是指調整預先訓練好的模型，以便更好地適應特定的任務或資料集。
資料準備的挑戰
資料準備是一個複雜的過程，需要仔細考慮資料的代表性、偏差和錯誤。資料的品質直接影響模型的訓練效果和準確度。因此，資料準備是一個關鍵的步驟，需要確保資料是代表性的、無偏差的和結構化的，以便與模型的需求相相容。
模型微調的重要性
模型微調是指調整預先訓練好的模型，以便更好地適應特定的任務或資料集。這個過程是重要的，因為它可以提高模型的效能和準確度。透過微調模型，可以使其更好地理解特定的語言和任務，從而提供更準確和相關的回應。
提示工程的作用
提示工程是指設計和最佳化用於與 LLM 互動的提示或查詢。提示工程需要深入瞭解 LLM 的能力和使用的背景。它是一個迭代的過程，通常根據模型的效能和反饋來最佳化。透過系統 atically 記錄使用者互動和反饋，可以設計出更有效的提示，從而提高 LLM 的效能和使用者經驗。
資料準備和模型微調的最佳實踐
為了確保資料準備和模型微調的最佳實踐，需要注意以下幾點：
- 資料準備需要仔細考慮資料的代表性、偏差和錯誤。
- 模型微調需要根據特定的任務或資料集來調整預先訓練好的模型。
- 提示工程需要深入瞭解 LLM 的能力和使用的背景。
- 需要系統 atically 記錄使用者互動和反饋，以便設計出更有效的提示。
透過遵循這些最佳實踐，可以提高聊天機器人和 LLM 的效能和準確度，從而提供更好的使用者經驗和商業價值。
內容解密：
在本文中，我們討論了資料準備和模型微調在聊天機器人和 LLM 應用中的重要性。資料準備涉及收集、分析、清理和組織資料，以確保其品質和結構能夠滿足模型的需求。模型微調則是指調整預先訓練好的模型，以便更好地適應特定的任務或資料集。提示工程是指設計和最佳化用於與 LLM 互動的提示或查詢。透過系統 atically 記錄使用者互動和反饋，可以設計出更有效的提示，從而提高 LLM 的效能和使用者經驗。
圖表翻譯：
graph LR
A[資料準備] --> B[模型微調]
B --> C[提示工程]
C --> D[使用者互動和反饋]
D --> C
在這個圖表中，我們展示了資料準備、模型微調、提示工程和使用者互動與反饋之間的關係。資料準備是第一步，涉及收集、分析、清理和組織資料。接下來是模型微調，涉及調整預先訓練好的模型，以便更好地適應特定的任務或資料集。然後是提示工程，涉及設計和最佳化用於與 LLM 互動的提示或查詢。最後，透過系統 atically 記錄使用者互動和反饋，可以設計出更有效的提示，從而提高 LLM 的效能和使用者經驗。
從商業價值角度來看，建構根據大語言模型（LLM）的聊天機器人服務，例如 ARM Hub 中的應用，並非單純匯入資料即可達成。本篇文章深入探討了資料準備、模型微調、提示工程以及使用者介面/回應記錄於打造高效能聊天機器人服務的重要性。分析顯示，探索性資料分析（EDA）是理解使用者行為模式、設計有效提示工程策略及提升使用者經驗的關鍵。技術限制在於預訓練模型可能無法完全滿足特定領域的需求，需要透過模型微調和持續的提示工程最佳化來提升效能。此外，系統性地記錄使用者互動和反饋，並將其整合至 MLOps 流程中，是降低風險、提升模型迭代效率及確保服務符合法規和倫理規範的必要措施。玄貓認為，整合 MLOps 原則，特別是重視資料準備、模型微調和提示工程的迭代最佳化，將是未來發展高品質、客製化聊天機器人服務，並使其從實驗階段走向大規模產業應用的關鍵。隨著 LLM 技術的持續發展和成熟，預期相關工具和平臺將更趨完善，進一步降低開發門檻，加速聊天機器人在各個產業的落地應用。
