近年來，根據大語言模型（LLM）和檢索增強生成（RAG）框架的聊天機器人技術，為資源有限的澳洲中小企業提供瞭解決客戶服務挑戰的有效方案。這些企業以往難以建置和維護複雜的客服系統，而聊天機器人則提供了一個低成本、高效率的替代方案。ARM Hub 的案例研究，正展示瞭如何運用這些技術，打造一個能理解使用者需求、提供精準答案，並在需要時轉接人工客服的智慧聊天機器人。LLM 技術的應用，也為中小型製造業帶來了最佳化生產流程、提升效率和降低成本的機會，並有助於開發符合客戶需求的新產品和服務。
第十三章：ARM Hub 案例研究：為小型和中型澳洲企業打造聊天機器人
13.1 簡介
在本章中，我們將探討 ARM Hub 案例研究，該研究關注於為小型和中型澳洲企業開發聊天機器人。這些企業通常面臨著資源限制，難以開發和維護複雜的客戶服務系統。因此，聊天機器人作為一種低成本、高效率的解決方案，正在受到越來越多的關注。
13.2 我們的方法
我們的方法是根據 LLM（Large Language Model）技術，結合 RAG（Retrieval-Augmented Generation）框架，打造了一個高效、智慧的聊天機器人。這個聊天機器人可以理解使用者的需求，提供準確的答案，並在必要時轉接給人工客服。
13.3 LLM 在中小型製造業中的應用
LLM 技術在中小型製造業中具有廣泛的應用前景。透過分析客戶的詢問和反饋，LLM 可以幫助企業最佳化生產流程、提高效率和降低成本。此外，LLM 還可以幫助企業開發新的產品和服務，以滿足客戶的需求。
13.4 根據 RAG 的聊天機器人
我們開發了一個根據 RAG 框架的聊天機器人，該聊天機器人可以從大量的文字資料中檢索相關資訊，並根據使用者的詢問生成答案。這個聊天機器人可以應對各種型別的詢問，包括產品詢問、售後服務等。
13.5 ARM Hub 聊天機器人的架構
ARM Hub 聊天機器人的架構包括以下幾個部分：
- 使用者介面：使用者可以透過網頁、手機 APP 或其他通路與聊天機器人互動。
- 自然語言處理：聊天機器人使用自然語言處理技術來理解使用者的詢問和反饋。
- 知識圖譜：聊天機器人使用知識圖譜來儲存和管理大量的文字資料。
- 生成模型：聊天機器人使用生成模型來生成答案和回復。
13.6 MLOps 在 ARM Hub 中的應用
MLOps（Machine Learning Operations）是指將機器學習模型佈署到生產環境中的過程。在 ARM Hub 中，我們使用 MLOps 來佈署和管理聊天機器人的模型。這包括模型訓練、模型評估、模型佈署和模型監控等步驟。
13.7 正在進行的工作
目前，我們正在繼續改進 ARM Hub 聊天機器人的效能和功能。這包括增加更多的語言支援、改進對話管理和增加更多的知識圖譜等。
13.9 從本案例研究中得到的啟示
從本案例研究中，我們得到以下幾個啟示：
- 聊天機器人可以幫助企業提高效率和降低成本。
- LLM 技術和 RAG 框架可以用於打造高效、智慧的聊天機器人。
- MLOps 是將機器學習模型佈署到生產環境中的重要步驟。
13.10 討論問題
- 如何評估聊天機器人的效能和有效性？
- 如何改進聊天機器人的對話管理和知識圖譜？
- 如何將 MLOps 應用於其他領域和行業？
13.11 進一步閱讀
- 《聊天機器人：從入門到實踐》
- 《LLM 技術與應用》
- 《MLOps：從理論到實踐》
人工智慧工程的未來
人工智慧（AI）已經成為各個產業中不可或缺的一部分，尤其是在銀行和金融領域。隨著 AI 技術的不斷發展，人工智慧工程也將面臨新的挑戰和機會。在本章中，我們將探討人工智慧工程的未來，並分析其對銀行和金融產業的影響。
DevOps 2.0 的崛起
傳統的 DevOps 模式已經不能滿足現代軟體開發的需求，尤其是在 AI 領域。DevOps 2.0 是一種新的軟體開發模式，它結合了 AI、雲端計算和 DevOps 的優點。DevOps 2.0 可以幫助企業更快速地開發和佈署 AI 應用程式，同時也可以提高 AI 應用程式的品質和可靠性。
人工智慧對未來的影響
人工智慧將對未來的銀行和金融產業產生深遠的影響。人工智慧可以幫助銀行和金融機構更好地管理風險、提高效率和降低成本。同時，人工智慧也可以幫助銀行和金融機構提供更好的客戶服務和體驗。
AIWare 或 AI-as-Software
AIWare 是一種新的軟體開發模式，它將 AI 技術整合到軟體開發中。AIWare 可以幫助企業更快速地開發和佈署 AI 應用程式，同時也可以提高 AI 應用程式的品質和可靠性。
對人工智慧的信任和人類工程師的角色
隨著人工智慧技術的不斷發展，人類工程師的角色也將發生變化。人類工程師需要與人工智慧系統合作，以確保人工智慧系統的可靠性和安全性。同時，人類工程師也需要負責人工智慧系統的設計、開發和測試。
討論題目
- 人工智慧工程的未來將如何影響銀行和金融產業？
- DevOps 2.0 如何幫助企業更快速地開發和佈署 AI 應用程式？
- AIWare 或 AI-as-Software 如何幫助企業更快速地開發和佈署 AI 應用程式？
進一步閱讀
- 《人工智慧工程：未來的挑戰和機會》
- 《DevOps 2.0：新一代軟體開發模式》
- 《AIWare 或 AI-as-Software：新的軟體開發模式》
flowchart TD
A[人工智慧工程] --> B[DevOps 2.0]
B --> C[AIWare或AI-as-Software]
C --> D[對人工智慧的信任和人類工程師的角色]
D --> E[結論]
圖表翻譯：
上述流程圖展示了人工智慧工程。首先，人工智慧工程將受到 DevOps 2.0 的影響，這是一種新的軟體開發模式。然後，AIWare 或 AI-as-Software 將成為新的軟體開發模式，它將幫助企業更快速地開發和佈署 AI 應用程式。接下來，對人工智慧的信任和人類工程師的角色將成為關鍵因素，以確保人工智慧系統的可靠性和安全性。最後，結論將總結人工智慧工程。
前言
作為下一代旗艦系統的技術負責人，您剛剛結束了一次戰略會議。會議中有一個明確的訊息：系統必須根據人工智慧（AI）。此外，還有人建議根據基礎模型（Foundation Model，FM）進行開發。
您已經感到肩負重任，因為沒有 AI 的軟體系統開發就已經很困難。現在，您被要求新增一項您不熟悉的技術。但請不要擔心，本文正是為您而寫。書中有三章專門介紹 AI 技術，其中一章專門講解基礎模型。
您的下一個想法是應該在團隊中新增一個熟悉 AI 和 FM 的人。但是，您該如何找到既懂 AI 又懂軟體工程流程的人呢？請不要擔心，本文也適合他們。書中討論了軟體架構、DevOps 和開發生命週期等內容。
我們撰寫本文的目的，是為了幫助您無論您是否懂得 AI 或軟體工程。採用 AI 系統開發的方法，就是延伸非 AI 系統的開發，具備一些特殊的特性。也就是說，需要使用現代軟體工程技術，並將其與 AI 模型的開發整合起來，同時使用適當的資料進行訓練。書中還強調了新技術，如基礎模型，每章結尾都有一組討論問題，以便您和您的同事進一步討論由玄貓提出的問題。
多學科團隊面臨的一個問題是術語不統一。根據背景不同，同一個詞可能有不同的含義。與同事討論每章內容，也有助於解決和達成共識對詞彙的定義。
我們的方法是，高品質系統的構建有三個主要貢獻者：1）軟體架構，2）用於構建、測試、佈署和營運的流程（DevOps），以及 3）高品質的 AI 模型和它們所依賴的資料。這三個領域在過去二十多年中都在不斷演進，主要由玄貓社群推動。每個社群都有自己構建高品質系統的方法，它們強調系統品質的不同方面。
這些差異表現在對品質因素的不同強調上。例如，軟體工程師將效能主要解釋為效率，而 AI 專家則將效能主要解釋為結果的準確性。
ARM Hub 的案例研究揭示了聊天機器人在資源有限的中小型企業中蘊藏的巨大潛力。透過整合 LLM 和 RAG 技術，ARM Hub 不僅成功打造了一個兼具效率和智慧的聊天機器人解決方案，更為澳洲中小型製造業提供了一個可借鑒的成功範例。深入分析此案例，可以發現根據 LLM 的聊天機器人能有效降低客戶服務成本，同時提升客戶體驗，這對於競爭激烈的市場至關重要。然而，技術限制依然存在，例如模型訓練資料的品質和數量直接影響聊天機器人的應答準確性和智慧程度，這需要持續的資料最佳化和模型迭代。隨著 LLM 技術的持續演進和 MLOps 的普及，預期聊天機器人的應用場景將更加多元化，並更深度地融入企業營運流程，從客戶服務延伸至生產管理、供應鏈最佳化等領域。玄貓認為，中小型企業應積極探索並應用此類別技術，以提升競爭力和應對未來的市場挑戰。
