機器學習產品開發交付與最佳實務

– 16 分鐘閱讀

在機器學習產品開發中，交付流程的效率與產品效能息息相關。本文將深入探討如何結合雙軌交付、持續交付模型和 alpha/beta 發布策略，並搭配有效的交付與產品衡量指標，打造高效的交付流程。同時，文章也將探討依賴管理的重要性以及如何利用 Docker 等工具簡化開發環境設定，確保團隊協作順暢。

雙軌交付

雙軌交付是一種方法論，旨在幫助團隊確定要建造什麼，並在建造的過程中。它將專案分為兩個不同的但相互依賴的軌道：發現和開發。這種方法使得團隊可以在短週期內學習和交付。

雙軌交付的優點

雙軌交付的優點包括：

  • 能夠快速驗證或駁斥假設
  • 能夠做出資料驅動的決策
  • 能夠快速原型設計和測試
  • 能夠快速交付

雙軌交付的實踐

雙軌交付的實踐包括：

  • 進行利益相關者研究
  • 進行文獻回顧
  • 進行時間盒資料科學實驗
  • 進行開發軌道的實踐

持續交付模型

持續交付模型是一種方法論，旨在使得交付成為一個業務決策，而不是技術決策。這種方法使得團隊可以快速交付，並且不需要特殊的注意力。

持續交付模型的優點

持續交付模型的優點包括：

  • 能夠快速交付
  • 能夠做出資料驅動的決策
  • 能夠快速原型設計和測試

持續交付模型的實踐

持續交付模型的實踐包括：

  • 定義和自動化交付路徑
  • 將交付努力融入到每個故事中
  • 使得交付成為一個業務決策

alpha 和 beta 發布

alpha 和 beta 發布是兩種常見的發布型別。alpha 發布通常是對一個小組的關鍵使用者，作為額外的驗證機制。beta 發布通常是對一個更廣泛但仍然有限的使用者群體，旨在回應 alpha 發布的反饋，繼續向一般發布的方向邁進。

alpha 和 beta 發布的優點

alpha 和 beta 發布的優點包括：

  • 能夠快速驗證或駁斥假設
  • 能夠做出資料驅動的決策
  • 能夠快速原型設計和測試

alpha 和 beta 發布的實踐

alpha 和 beta 發布的實踐包括：

  • 對一個小組的關鍵使用者進行 alpha 發布
  • 對一個更廣泛但仍然有限的使用者群體進行 beta 發布
  • 回應 alpha 發布的反饋，繼續向一般發布的方向邁進

最終交付實踐

最終交付實踐是指使得交付成為一個業務決策，而不是技術決策。這種方法使得團隊可以快速交付，並且不需要特殊的注意力。

最終交付實踐的優點

最終交付實踐的優點包括：

  • 能夠快速交付
  • 能夠做出資料驅動的決策
  • 能夠快速原型設計和測試

最終交付實踐的實踐

最終交付實踐的實踐包括：

  • 定義和自動化交付路徑
  • 將交付努力融入到每個故事中
  • 使得交付成為一個業務決策
  graph LR
    A[持續發現習慣] --> B[雙軌交付]
    B --> C[持續交付模型]
    C --> D[alpha 和 beta 發布]
    D --> E[最終交付實踐]

圖表翻譯：

上述圖表展示了持續發現習慣、雙軌交付、持續交付模型、alpha 和 beta 發布、最終交付實踐之間的關係。這些方法論和實踐可以幫助團隊快速驗證或駁斥假設，做出資料驅動的決策，快速原型設計和測試，並使得交付成為一個業務決策。

瞭解交付和產品目標的重要性

在軟體開發中，瞭解交付和產品目標的進展情況至關重要。這有助於團隊維持正確的方向，及時發現問題，並進行糾正措施，以確保最終交付的產品符合預期。

交付衡量指標

交付衡量指標是評估團隊進展情況的重要工具。這些指標包括迭代完成的範圍、週期時間和缺陷率等。透過這些指標，團隊可以監控交付健康狀況，及時發現偏離計劃或時間表的情況。

燃燒圖（Burn-up Chart）

燃燒圖是一種視覺化工具，顯示專案的總範圍和完成的工作量隨時間的變化。透過燃燒圖，團隊可以瞭解是否正按計劃進行交付，或者是否存在交付風險。

例如，假設我們有一個專案，需要在6個迭代中完成。透過燃燒圖，我們可以看到專案的總範圍和完成的工作量隨時間的變化。如果圖表顯示團隊無法在6個迭代中完成所有工作，那麼就需要進行糾正措施，以確保按時交付。

速度（Velocity）

速度是衡量團隊交付能力的指標。透過速度，團隊可以瞭解自己的交付能力，避免過度承諾，從而維持團隊士氣和利益相關者的滿意度。

速度可以透過歷史資料計算，例如，過去3個迭代的平均速度。這個速度可以用來預測未來的交付能力，從而幫助團隊管理利益相關者的期望，協調其他組織功能，確保按時交付。

產品衡量指標

除了交付衡量指標外，產品衡量指標也是評估團隊進展情況的重要工具。這些指標可以幫助團隊瞭解是否正建造正確的東西。

缺陷率和週期時間

缺陷率和週期時間是重要的產品衡量指標。這些指標可以幫助團隊瞭解產品的品質和交付效率。

產品和模型效能

產品和模型效能是評估團隊進展情況的重要指標。這些指標可以幫助團隊瞭解是否正建造正確的東西，是否滿足使用者的需求。

圖表翻譯：

這個圖表顯示了交付目標和產品目標之間的關係。交付目標是團隊的最終目標，交付衡量指標是評估團隊進展情況的工具。速度、缺陷率和週期時間是重要的交付衡量指標，產品和模型效能是評估團隊進展情況的重要指標。最終交付是團隊的最終目標，需要透過交付衡量指標和產品衡量指標來評估和改進。

產品績效衡量框架

在衡量產品績效時，需要考慮產品的成熟度和組織的目標。一般性指標通常關注使用者與產品的互動和財務結果，但個別產品可能有其特定的衡量標準。這些標準是產品思維的體現。

海盜指標（Pirate Metrics）

海盜指標（Acquisition、Activation、Retention、Referral、Revenue，簡稱AARRR）提供了一個使用者生命週期的漏斗檢視，幫助我們找出應該關注的行銷和開發工作，以獲得最大的回報。這個框架由玄貓於2007年提出，至今仍廣泛適用於SaaS產品。

最重要的指標（One Metric That Matters，OMTM）

OMTM框架鼓勵產品團隊專注於最適合其產品開發階段的單一指標。它並不忽略其他指標，而是將其置於次要地位。同時，OMTM框架鼓勵團隊尋找領先和相對指標，以實作更短的反饋迴圈。

建立產品衡量標準

一旦您有條件追蹤使用者消費，就應該建立一些版本的產品衡量標準。

模型衡量標準

我們的機器學習模型是交付努力的關鍵成果，也可能是決定產品績效的關鍵因素。如果我們雄心勃勃，例如使用強化學習，我們可以讓模型或代理直接最佳化產品或商業指標，例如使用者取得。這種方法可以透過玄貓的方法來降低風險。例如，產品英雄圖片可以使用強化學習從預先批准的集合中選擇，以最大化使用者參與度。

模型績效指標

在直接方法不可行或不受歡迎的情況下，我們通常需要選擇模型績效指標作為產品指標的代理或組成部分。然後，我們嘗試建立機器學習模型以最大化這些間接指標。 一個典型的例子是分類器的準確率或F-score。產品開發過程中，我們設定一個理想的目標和/或最低門檻，這些指標可能會根據持續發現進行調整。

圖表翻譯：

  graph LR
    A[產品思維] --> B[海盜指標]
    B --> C[最重要的指標]
    C --> D[模型衡量標準]
    D --> E[模型績效指標]
    E --> F[產品績效]

圖表翻譯：此圖表示了產品思維到產品績效的流程，包括海盜指標、最重要的指標、模型衡量標準和模型績效指標。每個步驟都與下一個步驟相關，最終目的是提高產品績效。

產品開發中的風險與衡量指標

在推出新產品時，企業的目標是最大化使用者取得，而這需要一個順暢的註冊流程。然而，財務犯罪團隊需要進行某些最低限度的檢查，這些檢查是根據指標觸發的。當好使用者被錯誤標記（由於糟糕的欺詐精確度導致的假陽性）時，他們可能會放棄註冊流程，從而降低使用者取得率。如果壞人沒有被標記（由於糟糕的欺詐召回率導致的假陰性），企業可能會因為欺詐而遭受損失，或者面臨客戶影響、罰款或制裁。團隊只能根據協定的衡量標準來最佳化這種平衡。

雙軌交付模式

在雙軌交付模式中，模型效能的提升可能透過實驗和原型在發現軌道上進行探索，並透過交付故事的方式融入產品中。模型衡量指標為我們提供了另一個視角來看待進展，並提供了另一個機會來糾正航向。

發現衡量指標

在檢視模型衡量指標時，我們區分了發現軌道和開發軌道。在雙軌交付模式中，交付活動的結果在很大程度上由使用者故事決定，而發現活動的結果是未知的，否則我們就不需要進行發現。

發現的挑戰在於如何衡量它。發現的關鍵指標是您有一個深入和廣泛的有意義實驗組合（許多創造價值的選項），這些實驗可以在合理的時間盒中進行（可預測的選項練習）。因此，對於發現，我們建議定期審查實驗待辦事項清單並跟蹤它們，努力最小化實驗的週期時間，以驅動模型效能。

評論：衡量指標的使用和誤用

團隊應該承認指標容易被誤用、濫用和最終變得功能失常的趨勢和風險。根據古德哈特定律（Goodhart’s Law），當一個衡量指標成為目標時，它就不再是一個好的衡量指標。因此，團隊應該將這些衡量指標主要視為改善自身效能的，而不是目的本身。

長官者在確保團隊衡量正確的結果和不斷改進以找到適合其組織的機器學習交付能力的適當指標方面發揮著至關重要的作用。同時，使用這些指標的有效性取決於團隊和組織內的心理安全水平。我們已經看到過一些案例，由於某些驅動因素，團隊過度報告了自己的進展，並低估了交付挑戰。當事實上狀況並不理想時，一切看起來似乎都很順利，但實際上卻存在著嚴重的問題。

敏捷開發與交付實踐

在敏捷開發中，交付時間是一個至關重要的因素。然而，當團隊被迫遵守不切實際的時間表時，往往會忽略潛在的障礙，從而導致交付品質下降。在安全的環境中，交付指標被用於持續改進，以幫助團隊提高生產力，達到產品交付目標。

交付實踐的重要性

交付實踐是敏捷開發中的一個關鍵部分，旨在幫助團隊縮短反饋迴圈，減少浪費的努力。這些實踐包括：

  • 寫作和驗證使用者故事，以確保開發人員的解決方案與業務期望一致
  • 每週測量團隊的速度，以避免錯過關鍵的發布里程碑
  • 透過發現，找出關鍵的成功因素，以確保發布的成功

敏捷開發的關鍵階段

敏捷開發的關鍵階段包括：

  1. 發現：瞭解業務需求和使用者需求
  2. 驗證：驗證解決方案是否符合業務期望
  3. 交付規劃：規劃交付時間表和資源
  4. 執行：執行交付計畫

交付實踐的益處

交付實踐可以幫助團隊：

  • 減少浪費的努力
  • 提高交付品質
  • 縮短反饋迴圈
  • 提高團隊的生產力
圖表翻譯：
  graph LR
    A[發現] --> B[驗證]
    B --> C[交付規劃]
    C --> D[執行]
    D --> E[交付]
    E --> F[評估]
    F --> A

內容解密：

上述流程圖展示了敏捷開發的關鍵階段，從發現到執行，然後到交付和評估。這個迴圈過程可以幫助團隊不斷改進和最佳化交付過程。每個階段都與下一個階段緊密相連，形成了一個完整的敏捷開發流程。

整合發現和驗證技術

在機器學習（ML）產品開發過程中，整合發現和驗證技術至關重要。這些技術可以幫助開發團隊更好地瞭解使用者需求、驗證假設和改進產品。以下是幾個可以整合到當前ML產品開發過程中的發現和驗證技術：

使用者故事

使用者故事是一種強大的工具，可以幫助開發團隊瞭解使用者需求和期望。透過建立使用者故事，團隊可以更好地瞭解使用者的痛點、需求和期望，並將這些知識整合到產品開發中。

假設驗證

假設驗證是一種技術，用於驗證開發團隊的假設和想法。透過設計和實施假設驗證實驗，團隊可以收集資料和反饋，以驗證或駁斥自己的假設。

原型設計和測試

原型設計和測試是一種技術，用於快速設計和測試產品原型。透過建立原型，團隊可以收集使用者反饋和資料，以改進產品設計和功能。

成本敏感學習

成本敏感學習是一種技術，用於在機器學習中考慮不同型別錯誤的成本。透過使用成本敏感學習，團隊可以設計出更有效的機器學習模型，以最小化錯誤的成本。

實踐建議

以下是幾個實踐建議，可以幫助開發團隊整合發現和驗證技術到當前ML產品開發過程中：

  1. 整合使用者故事：在產品開發過程中，使用使用者故事來瞭解使用者需求和期望。
  2. 進行假設驗證：設計和實施假設驗證實驗，以驗證或駁斥開發團隊的假設。
  3. 使用原型設計和測試：建立原型以收集使用者反饋和資料，改進產品設計和功能。
  4. 應用成本敏感學習：使用成本敏感學習技術，以最小化錯誤的成本和設計出更有效的機器學習模型。

有效的相依性管理：原則和工具

在機器學習（ML）專案中，相依性管理是一個常見的挑戰。當專案的相依性越來越多時，管理它們可能會變得非常困難。這個章節將介紹有效的相依性管理的原則和工具，幫助您輕鬆地安裝和管理相依性。

相依性地獄

相依性地獄是指專案的相依性太多，導致安裝和管理相依性變得非常困難。這個問題通常會導致「works on my machine」問題，即專案在某些機器上可以正常執行，但在其他機器上卻不能。

相依性管理的挑戰

在ML專案中，相依性管理面臨著以下挑戰：

  • 如何在不同的環境中（例如本地機器、雲端筆記本、分散式叢集等）輕鬆地安裝和管理相依性？
  • 如何最佳化相依性，以避免安裝相依性時等待下載「整個網際網路」？
  • 如何確保專案不會被相依性和其相依性的相依性所損害？

相依性管理的原則

有效的相依性管理需要遵循以下原則：

  • 明確定義相依性：清楚地定義專案的相依性，以避免相依性地獄。
  • 使用容器：使用容器（例如Docker）來簡化相依性管理。
  • 簡化Docker的使用：使用batect等命令列工具來簡化Docker的使用。

相依性管理的工具

以下是一些相依性管理的工具：

  • Docker：一個容器化平臺，可以簡化相依性管理。
  • batect：一個命令列工具，可以簡化Docker的使用。
  • pip：一個Python套件管理工具，可以用來管理相依性。
內容解密：

在這個章節中，我們使用了以下程式碼來示範相依性管理：

import os
import subprocess

# 安裝Docker
subprocess.run(["sudo", "apt-get", "install", "-y", "docker.io"])

# 啟動Docker
subprocess.run(["sudo", "systemctl", "start", "docker"])

# 使用batect簡化Docker的使用
subprocess.run(["batect", "run", "docker"])

這個程式碼示範瞭如何安裝和啟動Docker，然後使用batect簡化Docker的使用。

圖表翻譯：

以下是相依性管理的流程圖：

  flowchart TD
    A[定義相依性] --> B[使用容器]
    B --> C[簡化Docker的使用]
    C --> D[安裝和管理相依性]
    D --> E[避免相依性地獄]

這個流程圖示範了相依性管理的流程，從定義相依性到避免相依性地獄。

有效的依賴管理原則和實踐

在機器學習（ML）和 Python 生態系統中，依賴管理是一個至關重要的方面。無論您是初學者還是中級使用者，瞭解依賴管理的基本原理和最佳實踐都是非常重要的。這篇文章將為您提供一個簡單易懂的介紹，涵蓋從初學者到中級使用者的內容。

什麼是依賴管理？

依賴管理是指管理您的專案中使用的外部函式庫和模組的過程。這包括安裝、更新和管理這些依賴項，以確保您的專案可以順暢地執行。在 ML 專案中，依賴管理尤其重要，因為它涉及到管理複雜的軟體堆積疊和確保所有元件之間的相容性。

常見的依賴管理問題

如果您曾經嘗試過克隆一個儲存函式庫或安裝一個新函式庫時遇到問題，您就知道依賴管理可以是多麼令人沮喪。常見的問題包括：

  • 依賴項安裝錯誤
  • 依賴項版本不相容
  • 虛擬環境管理錯誤

更好的方法：簽出和執行

想象一下，您可以簡單地簽出一個儲存函式庫，執行一個指令碼，就可以開始工作。這種方法被稱為「簽出和執行」（check out and go），它是成熟的軟體工程實踐中的一個常見做法。

實作「簽出和執行」

要實作「簽出和執行」，您需要：

  • 使用版本控制系統（如 Git）管理您的專案
  • 使用虛擬環境（如 Conda 或 Virtualenv）管理您的依賴項
  • 編寫一個指令碼（如 go.sh）來自動化設定和執行您的專案
內容解密：

在上面的內容中，我們討論了依賴管理的重要性和常見的問題。然後，我們介紹了一種更好的方法，即「簽出和執行」。這種方法可以簡化設定和執行您的專案的過程，讓您可以更快速地開始工作。

# 依賴管理示例
import os

# 使用虛擬環境管理依賴項
def manage_dependencies():
    # 安裝依賴項
    os.system("pip install -r requirements.txt")

    # 執行專案
    os.system("python main.py")

# 自動化設定和執行專案
def go():
    manage_dependencies()

# 執行專案
if __name__ == "__main__":
    go()

圖表翻譯：

以下是「簽出和執行」的流程圖：

  flowchart TD
    A[簽出儲存函式庫] --> B[執行指令碼]
    B --> C[設定虛擬環境]
    C --> D[安裝依賴項]
    D --> E[執行專案]

這個流程圖展示了「簽出和執行」的過程，從簽出儲存函式庫到執行專案。

玄貓的開發環境設定

在開始新的機器學習（ML）專案之前，設定一個適合的開發環境是非常重要的。一個良好的開發環境可以幫助新團隊成員快速上手，減少組態和排除故障的時間，同時確保程式碼的一致性和可重復性。以下是玄貓的開發環境設定，旨在幫助您快速建立一個高效的開發環境。

快速上手

新團隊成員可以在短短幾個命令中設定好開發環境，執行測試，提交程式碼，甚至在一天內完成所有工作。在這個過程中，我們會描述一些原則和實踐，幫助您實作這個目標。

優點

採用這種實踐有許多優點，包括：

  • 快速上手：新團隊成員可以在短時間內設定好開發環境，開始執行程式碼和測試，從而更快地開始貢獻程式碼。
  • 節省時間和認知資源：自動建立一致的生產環境可以減少組態和排除故障的時間，讓團隊成員可以專注於更重要的工作。
  • 實驗-操作對稱性：透過可重復的生產環境，我們可以確保在本地機器上執行的程式碼也可以在雲端執行，例如在CI/CD管道或雲端計算例項上執行測試或訓練模型。
  • 可重復性和可靠性：我們寫的程式碼可以在任何地方執行，無論是同事的機器、CI/CD管道還是雲端計算例項，並且每次都會得到相同的結果。

原則

要實作這些優點，以下是一些需要遵循的原則：

  • 自動化：盡可能自動化開發環境的設定和組態。
  • 一致性：確保所有團隊成員使用相同的開發環境和工具。
  • 可重復性：確保程式碼可以在任何地方執行，無論是本地機器還是雲端計算例項。
  • 簡單性：盡可能簡化開發環境的設定和組態。

實踐

要實作這些原則，以下是一些實踐：

  • 使用Docker：Docker可以幫助您建立一致的生產環境，並確保程式碼可以在任何地方執行。
  • 使用CI/CD管道：CI/CD管道可以幫助您自動化測試、構建和佈署的過程，確保程式碼的一致性和可重復性。
  • 使用版本控制：版本控制可以幫助您管理程式碼變化，並確保程式碼的一致性和可重復性。

依賴管理的核心概念

依賴管理是一個簡單卻重要的概念。在這個背景下，依賴指的是所有由玄貓所需的軟體元件。這些依賴可以進一步分為兩個層次：作業系統級別的依賴和應用程式級別的依賴。

現代機器學習應用通常需要在多個作業系統上執行。例如，我們可能在 Mac、Linux 或 Windows 上開發，使用 CI 管道（通常是 Linux）進行測試，並在暫時的雲端 CPU 或 GPU 例項（通常是 Linux）上進行完整的模型訓練。Docker 等容器技術可以幫助我們簡化作業系統級別的依賴管理。然而，應用程式級別的依賴需要在不同的環境中保持一致。

依賴管理的四個原則

在深入探討具體技術和實作細節之前，讓我們瞭解四個永恆的原則，它們可以引導我們找到適當的依賴管理解決方案。

  1. 依賴「作為程式碼」：透過使所有程式碼貢獻者能夠從程式碼中以自動化的方式建立一致的開發環境，我們可以確保依賴關係的一致性。
  2. 從第一天就建立生產環境：從一開始就建立生產環境的開發環境，可以幫助我們盡早發現潛在問題，避免在生產環境中出現錯誤。
  3. 應用程式級別環境隔離：每個應用程式、專案或程式碼倉函式庫都應該有自己的隔離的 Python 虛擬環境，以避免分享狀態和不必要的耦合。
  4. 版本控制和可重現性：所有依賴關係的變化都應該被版本控制，並且可以在其他環境中快速測試和重現。

從技術架構視角來看，本文討論了多種提升軟體交付效率和品質的實踐方法，涵蓋雙軌交付、持續交付模型、alpha/beta 發布以及最終交付實踐。深入剖析這些方法的核心可以發現，它們都強調快速迭代、資料驅動決策和持續驗證的重要性。多維比較分析顯示，雙軌交付模型透過發現和開發雙軌平行，有效平衡了快速探索和穩定交付的需求；持續交付模型則著重於自動化和業務決策驅動的交付流程，實作快速且頻繁的產品迭代。此外，alpha/beta 發布策略提供漸進式使用者驗證機制，降低了發布風險。技術限制深析指出，要有效實施這些實踐，團隊需要具備良好的協作能力、自動化測試能力以及快速回應使用者反饋的能力。對於追求快速迭代和持續交付的團隊，本文提出的方法和實踐具有極高的參考價值。玄貓認為，結合有效的交付衡量指標和產品衡量指標，例如燃燒圖、速度、缺陷率和產品效能等，並配合產品績效衡量框架，如海盜指標（AARRR）和最重要的指標（OMTM），才能最大程度地發揮這些實踐的效用，最終交付高品質的產品。在接下來的幾年裡，預計這些交付實踐將與DevOps和MLOps更加緊密地結合，進一步推動軟體開發和機器學習模型佈署的自動化和智慧化。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。