從根據分散式嵌入的 POC 模型轉換到預訓練語言模型（如 BERT）顯著提升了 NLP 任務的效能，滿足了客戶對高精確度文字分析的需求。然而，為了確保生產環境的穩定性和結果一致性，需要整合規則和啟發式方法來補充預訓練模型的不足。這也引發了關於模型選擇（小型 vs. 大語言模型）和可觀察性（流程和架構）的討論。此外，中小企業在應用 AI 時面臨資料和 AI 基礎設施的費用挑戰。為瞭解決這個問題，可以透過資料和 AI 即服務平臺，提供可擴充套件且安全的湖倉基礎設施，並以按需付費模式降低使用門檻。這個平臺需要解決資料安全和治理問題，同時確保服務的彈性和可擴充套件性，以滿足不同中小企業的需求。
MLOps 案例研究：從概念驗證到量產
在本案例研究中，我們探討瞭如何將 MLOps 週期應用於實際業務場景，實作從概念驗證（POC）到量產的無縫過渡。透過採用 MLOps 方法，我們能夠不斷改進模型的效能，維持其可靠性，並為業務帶來顯著價值。
專案背景
本案例研究涉及一個複雜的自然語言處理（NLP）任務，需要高精確度的文字分析和處理。為了實作這一目標，我們採用了預訓練語言模型，特別是 BERT-like 模型，來替代原始的根據分散式嵌入的 POC 模型。這一變革帶來了顯著的效能提升，滿足了客戶的需求。
然而，僅僅依靠預訓練模型是不夠的。為了使解決方案成為生產就緒並確保結果的一致性和正確性，我們還需要補充模型以規則和啟發式。
討論問題
- 如何判斷是否使用小型語言模型或大語言模型？
- 在這種情況下，如何解決可觀察性問題，既包括過程也包括架構？
進一步閱讀
若要了解軟體過程改進的基礎實踐，請參考《能力成熟度模型：改進軟體過程》。 對於整合過程改進的實踐介紹，請參考 Ahern、Clouse 和 Turner 的《CMMI 精粹》。 關於機器學習未來證明解決方案的見解，請參考 Fraunhofer IAIS 的工作。 對於預訓練語言模型及其在各種媒體上的整合的全面探索，請參考《自然語言處理基礎模型》。
小型至中型企業的人工智慧應用挑戰
對於澳大利亞的小型至中型企業（SME）製造商來說，實施人工智慧（AI）最大的挑戰在於建設、營運、維護和治理資料和 AI 基礎設施的巨大費用。為了加速技術採用並支援澳大利亞的小型至中型企業製造商，Advanced Robotics for Manufacturing（ARM）Hub 作為一家非營利組織成立。這篇文章分享了玄貓學習到的經驗，描述了玄貓需求的服務。
問題所在
對於沒有強大 IT 基礎的小型至中型企業製造商，開始資料或雲端工程專案往往是不現實的，因為缺乏專門的資料和 AI 工程、基礎設施和管理團隊。因此，許多小型至中型企業製造商儘管擁有可以被利用的寶貴資料，以提高生產力和供應鏈效率，但仍然受到玄貓的限制。
我們的方法
為瞭解決這些挑戰，ARM Hub 實施了一個資料和 AI 即服務平臺，以克服小型至中型企業的即時障礙，允許他們探索、實施、維護和更好地治理 AI 專案。該服務為小型至中型企業提供了一個可擴充套件和安全的資料和 AI 湖倉基礎設施，可以輕鬆使用，具有最低的所有權或維護費用。湖倉是一種資料管理架構，支援結構化和非結構化資料。
ARM Hub 透過一個透明的按需付費模式建立了這個平臺，沒有任何前期成本，如許可費或基礎設施費用。Hub 利用了 Lakehouse Architecture 行業最新的方法來解決資料和 AI 在一個平臺上的問題。每個使用服務的小型至中型企業都會被提供一個安全的個人工作空間。注意，雖然我們目前的服務僅佈署在 Microsoft Azure 上，但我們的架構設計是雲端不可知的，允許與其他雲端提供商如 AWS 和 GCP 相容。
實施服務
在實施這個服務時，我們需要解決資料安全和治理的問題，以確保小型至中型企業的資料安全和合規。同時，我們還需要確保服務的可擴充套件性和靈活性，以滿足不同的小型至中型企業需求。
圖表翻譯：
graph LR
A[小型至中型企業] --> B[資料和AI即服務平臺]
B --> C[湖倉基礎設施]
C --> D[資料安全和治理]
D --> E[可擴充套件性和靈活性]
這個圖表描述了小型至中型企業如何透過資料和 AI 即服務平臺獲得湖倉基礎設施，並如何解決資料安全和治理的問題，以確保服務的可擴充套件性和靈活性。
LLM 在中小企業製造業中的應用
隨著人工智慧（AI）和機器學習（ML）技術的發展，中小企業（SME）正面臨著資料採集和遷移的挑戰，這對於開發和佈署大語言模型（LLM）應用至關重要。為瞭解決這些挑戰，我們採用了一種導向服務的方法來處理資料管道，特別是資料從一個位置遷移到另一個位置的問題。同時，我們也滿足了不同服務等級協定（SLA）的需求，建立了從批處理到近實時資料處理的解決方案。我們的資料管道支援多種資料格式，包括 CSV、JSON、文字、PDF，以及語音和影片，所有這些都達到了生產品質。
正如前面提到的，中小企業通常沒有自己的 IT 團隊，因此我們的平臺透過提供一系列服務來填補這個空白。這些服務包括資料管道建設、專案管理以及 AI 和 ML 專案的持續維護和管理。同時，我們還提供了靈活的契約條款，讓中小企業可以根據自己的需求選擇合適的服務，並且他們的資料儲存在開源環境中，方便他們隨時存取和檢索資料。
我們還提供專案管理服務，以確保 IT 團隊按照玄貓的《AI 負責使用》進行工作，從而促進透明和安全的 AI 專案建立和治理過程。透過這個平臺，我們可以為中小企業提供 LLM 即服務（LLM-as-a-Service）。MLOps 是提供可持續、安全和可信任的 LLM 解決方案的重要組成部分。本章節將總結我們在為中小企業製造商提供根據聊天機器人的服務時所學到的經驗。雖然有許多潛在的 AI 應用可能與製造商相關，但為了滿足中小企業製造商的需求並為他們帶來短期收益和長期利益，我們必須提供最受歡迎的平臺。
13.3 LLM 在中小企業製造業中的應用
我們的平臺正在見證 LLM 在以下使用案例中的應用：
- 客戶支援增強：這涉及到使用 LLM 來增強客戶支援，例如自動回答常見問題、提供個人化的客戶服務等。
- 生產流程最佳化：LLM 可以用於分析生產流程中的資料，找出瓶頸和改進點，從而最佳化生產流程。
- 預測維護：透過分析裝置和機器的執行資料，LLM 可以預測何時需要進行維護，從而減少停機時間和提高生產效率。
- 品質控制：LLM 可以用於分析品質控制資料，找出品質問題的根源，從而改進生產流程和提高產品品質。
透過這些應用，LLM 可以幫助中小企業製造商提高生產效率、降低成本、提高產品品質和競爭力。同時，MLOps 也發揮了重要作用，確保了 LLM 解決方案的可持續性、安全性和可信任性。
MLOps 案例研究：從概念驗證到量產的結論
從技術架構視角來看，本案例研究成功地展示瞭如何利用 MLOps 方法論將 NLP 模型從 POC 階段推進至量產環境。採用 BERT-like 模型取代原有方案，佐以規則和啟發式方法，顯著提升了模型效能並滿足了客戶需求。然而，技術選型並非一蹴而就，小型語言模型與大語言模型的選擇仍需根據特定任務的複雜度、效能需求以及資源限制進行權衡。此外，系統的可觀察性對於模型的持續監控和最佳化至關重要，這需要整合流程與架構層面的監控機制，以確保模型在生產環境中的穩定性和可靠性。對於資源有限的中小企業而言，如何有效地管理和利用資料與 AI 基礎設施，將是未來 MLOps 實踐中的關鍵挑戰。玄貓認為，隨著 MLOps 工具和平臺的日漸成熟，更多中小企業將能受惠於 AI 技術，提升其核心競爭力。
小型至中型企業的人工智慧應用挑戰的結論
從商業與市場視角來看，ARM Hub 的資料和 AI 即服務平臺為澳洲中小企業製造商提供了一條克服 AI 應用門檻的有效途徑。透過按需付費模式和安全的湖倉基礎設施，中小企業得以在最小化前期投資和風險的前提下探索 AI 技術的潛力。然而，資料安全和治理仍是該平臺持續發展的關鍵挑戰。如何在確保資料安全和合規性的同時，維持平臺的靈活性及可擴充套件性，以滿足不同中小企業的需求，將是 ARM Hub 未來發展的重要方向。玄貓預測，隨著平臺服務的完善和更多成功案例的累積，這類別服務模式將在中小企業市場中獲得更廣泛的應用。
LLM 在中小企業製造業中的應用的結論
從使用者與開發體驗視角來看，為中小企業提供 LLM 即服務的平臺必須兼顧易用性、功能性和安全性。本文提出的平臺透過簡化資料管道、提供全面的服務支援以及靈活的契約條款，有效降低了中小企業應用 LLM 的門檻。然而，平臺的長期成功取決於能否持續滿足中小企業不斷變化的需求，例如提供更多客製化服務、支援更多元的資料格式以及整合更先進的 LLM 模型。此外，確保 AI 專案的透明度和安全性，例如遵循玄貓的《AI 負責使用》，也是建立信任和促進 LLM 應用普及的關鍵。玄貓認為，隨著 LLM 技術的快速發展和應用場景的不斷拓展，這類別平臺將在賦能中小企業數位轉型的過程中扮演越來越重要的角色。
