強化學習是實現序貫決策自動化的關鍵技術，其核心在於智能體如何透過與環境互動來學習最佳行為策略。此過程由一套嚴謹的數學框架引導，主要包含兩個基本循環：評估當前策略優劣的「策略評估」，以及基於評估尋找更佳策略的「策略改進」。本文將深入解析這兩個循環的理論基礎，並探討這一切學習行為的源頭——「獎勵工程」。獎勵設計決定了智能體學習的最終目標與方向，是連接理論與實踐的關鍵橋樑。
強化學習中的獎勵設計與策略優化
獎勵工程：塑造智慧行為的藝術
在強化學習的廣闊天地中，獎勵工程（Reward Engineering）扮演著至關重要的角色，它不僅是連結智能體與環境的橋樑，更是引導智能體學習期望行為的核心機制。一個精心設計的獎勵函數，能夠在複雜的決策空間中，有效地指引智能體探索並發現最佳策略。這不僅僅是給予成功行為正向回饋，更是透過巧妙的設計，避免局部最優、加速收斂，並確保學習過程的穩定性與效率。
獎勵函數的設計，本質上是一種將問題領域的專業知識轉化為可量化信號的藝術。它需要深入理解任務目標、環境動態以及智能體的學習特性。例如，在自動駕駛中，獎勵可能不僅包含到達目的地，還需考量行車安全、燃油效率、乘客舒適度等多維度因素。過於稀疏的獎勵可能導致智能體難以學習，而過於密集的獎勵則可能引入不必要的偏見。因此，如何平衡稀疏性與密度、即時獎勵與延遲獎勵，是獎勵工程師面臨的挑戰。
此外，塑形獎勵（Reward Shaping）是獎勵工程中的一種常用技術，它透過引入輔助獎勵，為智能體提供更頻繁的學習信號，尤其是在任務初期或稀疏獎勵環境中。然而，不當的塑形獎勵可能改變問題的本質，導致智能體學習到次優策略。因此，設計者必須確保塑形獎勵與最終目標獎勵函數在數學上保持一致性，例如透過勢函數（Potential-based Reward Shaping）來保證策略的最優性不被破壞。
獎勵設計的挑戰與策略
獎勵工程的挑戰在於其高度的經驗性和藝術性。沒有通用的「最佳」獎勵函數，每個問題都需要量身定制。以下是一些常見的挑戰與應對策略：
- 稀疏獎勵問題：當智能體只有在完成特定長序列動作後才能獲得獎勵時，學習效率會非常低下。解決方案包括獎勵塑形、分層強化學習（Hierarchical Reinforcement Learning）將大任務分解為小任務，或使用好奇心驅動探索（Curiosity-driven Exploration）來鼓勵智能體探索未知狀態。
- 獎勵衝突與多目標優化：當任務涉及多個相互衝突的目標時（例如速度與安全），獎勵函數的設計需要權衡。這可以透過加權和（Weighted Sum）或帕累托優化（Pareto Optimization）等方法來處理。
- 人類偏見的引入：由人類設計的獎勵函數可能無意中引入偏見，導致智能體學習到不符合倫理或社會期望的行為。逆向強化學習（Inverse Reinforcement Learning, IRL）試圖從專家示範中推斷獎勵函數，可以減少這種偏見，但其本身也存在挑戰。
- 獎勵信號的噪聲：環境中的不確定性可能導致獎勵信號帶有噪聲。穩健強化學習（Robust Reinforcement Learning）旨在設計能夠在噪聲環境中表現良好的策略。
總之，獎勵工程是強化學習成功的關鍵因素之一。它要求設計者不僅具備深厚的數學和編程知識，還需對問題領域有深刻的理解和洞察力。透過不斷的實驗、迭代和精煉，才能設計出能夠引導智能體實現卓越性能的獎勵函數。
此圖示：獎勵工程流程圖
graph TD
A[定義任務目標] --> B{分析環境與智能體能力};
B -- 稀疏獎勵? --> C{設計初步獎勵函數};
C -- 潛在衝突? --> D{考慮塑形獎勵或多目標權重};
D -- 引入偏見? --> E{評估獎勵函數的公平性與穩健性};
E --> F[實施與測試];
F -- 表現不佳? --> G{迭代優化獎勵函數};
G --> F;
F -- 表現良好? --> H[部署與監控];
看圖說話：
此圖示描繪了獎勵工程從任務定義到最終部署的迭代流程。首先，我們從定義任務目標開始，這是所有設計的基礎。接著，分析環境與智能體能力，以了解潛在的挑戰和限制。基於這些分析，設計初步獎勵函數，這一步需要將抽象的目標轉化為具體的數值信號。在設計過程中，我們需要思考是否存在稀疏獎勵問題，並考慮是否需要塑形獎勵或多目標權重來應對潛在的獎勵衝突。同時，評估獎勵函數的公平性與穩健性，以避免引入不必要的偏見。經過這些考量後，進行實施與測試。如果智能體表現不佳，則需要迭代優化獎勵函數，這個過程可能涉及調整獎勵的幅度、頻率或結構。最終，當智能體表現良好時，即可進行部署與監控，並持續觀察其在實際環境中的表現。
策略評估：價值函數的深度洞察
在強化學習中，策略評估（Policy Evaluation）是理解智能體行為優劣的基石。它旨在量化在給定策略下，智能體從某一狀態或狀態-動作對開始，預期能夠獲得的累積獎勵。這種量化通常透過價值函數（Value Function）來實現，它為每個狀態或狀態-動作對賦予一個數值，代表其長期吸引力。
狀態價值函數 $V^\pi(s)$
狀態價值函數 $V^\pi(s)$ 定義為在遵循策略 $\pi$ 的前提下，從狀態 $s$ 開始，智能體預期獲得的折扣累積獎勵（Discounted Cumulative Reward）。折扣因子 $\gamma \in [0, 1)$ 用於權衡即時獎勵與未來獎勵的重要性。其數學表達式為： $$V^\pi(s) = E_\pi \left[ \sum_{t=0}^\infty \gamma^t R_{t+1} \mid S_0 = s \right]$$ 其中，$E_\pi[\cdot]$ 表示在策略 $\pi$ 下的期望值，$R_{t+1}$ 是在時間步 $t+1$ 獲得的獎勵。這個期望值考慮了環境的隨機性以及智能體在策略 $\pi$ 下的隨機行為。
狀態價值函數的計算通常透過貝爾曼期望方程（Bellman Expectation Equation）進行： $$V^\pi(s) = \sum_{a \in A} \pi(a|s) \sum_{s’ \in S, r \in R} P(s’, r | s, a) [r + \gamma V^\pi(s’)]$$ 這個方程表明，一個狀態的價值等於從該狀態出發，執行所有可能動作的期望價值之和，其中每個動作的期望價值又包含即時獎勵和折扣後的下一狀態價值。
動作價值函數 $Q^\pi(s, a)$
動作價值函數 $Q^\pi(s, a)$，又稱為Q函數，定義為在遵循策略 $\pi$ 的前提下，從狀態 $s$ 開始，執行動作 $a$ 後，智能體預期獲得的折扣累積獎勵。其數學表達式為： $$Q^\pi(s, a) = E_\pi \left[ \sum_{t=0}^\infty \gamma^t R_{t+1} \mid S_0 = s, A_0 = a \right]$$ 動作價值函數同樣可以透過貝爾曼期望方程來表達： $$Q^\pi(s, a) = \sum_{s’ \in S, r \in R} P(s’, r | s, a) [r + \gamma \sum_{a’ \in A} \pi(a’|s’) Q^\pi(s’, a’)]$$ 或者更簡潔地表示為： $$Q^\pi(s, a) = \sum_{s’ \in S, r \in R} P(s’, r | s, a) [r + \gamma V^\pi(s’)]$$ 這說明執行動作 $a$ 後的價值，等於即時獎勵加上折扣後的下一狀態的價值。
價值函數的計算方法
- 迭代策略評估：這是一種動態規劃方法，透過重複應用貝爾曼期望方程來迭代更新價值函數，直到收斂。 $$V_{k+1}(s) = \sum_{a \in A} \pi(a|s) \sum_{s’ \in S, r \in R} P(s’, r | s, a) [r + \gamma V_k(s’)]$$ 這個過程會收斂到真實的 $V^\pi(s)$。
- 蒙特卡洛方法（Monte Carlo）：透過模擬大量的智能體與環境互動的幕（Episodes），並計算每個狀態或狀態-動作對的平均回報來估計價值函數。這種方法不需要知道環境的動態模型。
- 時序差分學習（Temporal Difference Learning, TD）：結合了動態規劃和蒙特卡洛方法的優點。它在每個時間步更新價值函數，利用當前估計的價值函數來更新前一個狀態的價值，而無需等待整個幕結束。TD(0) 更新規則為： $$V(S_t) \leftarrow V(S_t) + \alpha [R_{t+1} + \gamma V(S_{t+1}) - V(S_t)]$$ 其中 $\alpha$ 是學習率。
價值函數是強化學習的核心概念之一，它為策略改進提供了量化依據，使得智能體能夠在複雜的決策過程中做出明智的選擇。
此圖示：價值函數關係圖
graph TD
A[策略 $\pi$] --> B[狀態 $s$];
B --> C[執行動作 $a$];
C --> D[獲得獎勵 $r$];
D --> E[轉移到新狀態 $s'$];
E --> F[策略 $\pi$];
F --> B;
subgraph 價值函數
B -- 預期累積獎勵 --> G[$V^\pi(s)$];
C -- 預期累積獎勵 --> H[$Q^\pi(s, a)$];
end
G -- 貝爾曼期望方程 --> H;
H -- 貝爾曼期望方程 --> G;
看圖說話：
此圖示闡明了策略、狀態、動作、獎勵以及價值函數之間的相互關係。在給定策略 $\pi$ 的情況下，智能體處於某個狀態 $s$。根據策略，智能體會執行動作 $a$，隨後獲得獎勵 $r$ 並轉移到新狀態 $s’$。這個循環持續進行，構成了一個完整的互動序列。狀態價值函數 $V^\pi(s)$ 量化了從狀態 $s$ 開始，遵循策略 $\pi$ 所能獲得的預期累積獎勵。而動作價值函數 $Q^\pi(s, a)$ 則量化了從狀態 $s$ 執行動作 $a$ 後，再遵循策略 $\pi$ 所能獲得的預期累積獎勵。圖中箭頭表示了這些概念如何相互依賴並透過貝爾曼期望方程相互推導，共同構成了策略評估的基礎。
策略改進：選擇最佳行動
策略改進（Policy Improvement）是強化學習迭代優化過程中的關鍵一步，其目標是基於當前策略的價值函數，找到一個能夠獲得更高預期累積獎勵的新策略。這個過程通常與策略評估交替進行，形成策略迭代（Policy Iteration）或價值迭代（Value Iteration）等核心算法。
策略改進的核心思想是，如果我們知道每個狀態-動作對的價值（即 $Q^\pi(s, a)$），那麼在每個狀態 $s$，我們應該選擇能夠最大化 $Q^\pi(s, a)$ 的動作。這個貪婪的選擇會產生一個新的策略 $\pi’$，它在每個狀態 $s$ 下都比原策略 $\pi$ 更好或至少一樣好。
貪婪策略改進
假設我們已經評估了當前策略 $\pi$ 的動作價值函數 $Q^\pi(s, a)$。新的貪婪策略 $\pi’$ 可以定義為： $$\pi’(s) = \arg\max_{a \in A} Q^\pi(s, a)$$ 這表示在每個狀態 $s$，新策略 $\pi’$ 選擇能夠帶來最大預期累積獎勵的動作。如果有多個動作都能達到最大值，則可以隨機選擇其中一個。
策略改進定理（Policy Improvement Theorem）證明了這種貪婪策略改進的有效性：對於所有狀態 $s \in S$，如果 $Q^\pi(s, \pi’(s)) \ge V^\pi(s)$，那麼新策略 $\pi’$ 至少與原策略 $\pi$ 一樣好，即 $V^{\pi’}(s) \ge V^\pi(s)$。在大多數情況下，它會嚴格優於原策略，除非原策略已經是最優策略。
策略迭代
策略迭代算法是策略評估和策略改進的交替應用：
- 策略評估：給定一個策略 $\pi_k$，計算其狀態價值函數 $V^{\pi_k}(s)$ 或動作價值函數 $Q^{\pi_k}(s, a)$。
- 策略改進：基於 $V^{\pi_k}(s)$ 或 $Q^{\pi_k}(s, a)$，生成一個新的貪婪策略 $\pi_{k+1}$。 這個過程重複進行，直到策略不再改變，即 $\pi_{k+1} = \pi_k$。此時，我們就找到了最優策略 $\pi^$ 和最優價值函數 $V^(s)$ 或 $Q^*(s, a)$。
價值迭代
價值迭代（Value Iteration）是一種簡化的策略迭代形式，它將策略評估和策略改進融合到一個步驟中。它直接從最優貝爾曼方程（Bellman Optimality Equation）出發，迭代更新狀態價值函數，直到收斂到最優價值函數 $V^(s)$： $$V_{k+1}(s) = \max_{a \in A} \sum_{s’ \in S, r \in R} P(s’, r | s, a) [r + \gamma V_k(s’)]$$ 一旦 $V^(s)$ 收斂，最優策略 $\pi^$ 就可以透過對 $V^(s)$ 進行一次貪婪操作來提取： $$\pi^(s) = \arg\max_{a \in A} \sum_{s’ \in S, r \in R} P(s’, r | s, a) [r + \gamma V^(s’)]$$ 價值迭代通常比策略迭代收斂更快，因為它不需要在每次迭代中都完全評估策略。
探索與利用的權衡
在實際應用中，尤其是在模型未知或部分已知的環境中，智能體需要平衡探索（Exploration）與利用（Exploitation）。純粹的貪婪策略改進只會利用當前已知的最優動作，可能導致智能體陷入局部最優。因此，在策略改進的過程中，通常會引入一些探索機制，例如：
- $\epsilon$-貪婪策略：以 $\epsilon$ 的概率隨機選擇動作，以 $1-\epsilon$ 的概率選擇當前最優動作。
- 玻爾茲曼探索（Boltzmann Exploration）：根據動作的價值函數，以概率分佈選擇動作，價值越高的動作被選中的概率越大。
策略改進是強化學習算法不斷提升性能的核心動力。透過系統地評估當前策略並基於這些評估結果進行改進，智能體能夠逐步學習到在複雜環境中實現目標的最優決策序列。
此圖示：策略改進流程
graph TD
A[初始化隨機策略 $\pi_0$] --> B{策略評估: 計算 $V^{\pi_k}(s)$};
B --> C{策略改進: 根據 $V^{\pi_k}(s)$ 產生新策略 $\pi_{k+1}$};
C -- $\pi_{k+1} = \pi_k$? --> D[最優策略 $\pi^*$ 找到];
C -- $\pi_{k+1} \neq \pi_k$? --> B;
看圖說話：
此圖示展示了策略迭代的完整流程，這是策略改進的一個典型應用。首先，我們從初始化一個隨機策略 $\pi_0$ 開始，作為迭代的起點。接著進入循環，第一步是策略評估，即計算當前策略 $\pi_k$ 下的狀態價值函數 $V^{\pi_k}(s)$。這個步驟量化了在當前策略下，每個狀態的長期吸引力。然後是策略改進，根據計算出的 $V^{\pi_k}(s)$，生成一個新的、更優的策略 $\pi_{k+1}$。這個新策略通常是貪婪地選擇在每個狀態下能最大化預期獎勵的動作。隨後，系統會檢查新策略 $\pi_{k+1}$ 是否與舊策略 $\pi_k$ 相同。如果策略不再變化，表示已經收斂到最優策略 $\pi^*$，迭代結束。如果策略仍然不同，則繼續回到策略評估步驟，重複這個循環，直到找到最優解。
縱觀強化學習從獎勵設計到策略優化的完整路徑，其核心不僅是演算法的精密計算，更是對「智慧」如何形成與演進的深刻洞察。這套框架，實際上為所有追求卓越績效的系統（無論是人工智慧或人類組織）提供了一套可操作的發展藍圖。
此框架中最具挑戰與價值的環節，無疑是「獎勵工程」。它如同組織的KPI與價值觀設計，其品質直接決定了系統行為的天花板。一個精妙的獎勵函數能引導系統突破局部最優，發現創新解法；反之，一個短視或有偏見的設計，則會禁錮潛力，催生非預期後果。相較於傳統管理單向的指令佈達，強化學習的「策略評估-改進」循環，更體現了敏捷精神：在實踐中驗證，從反饋中學習，透過持續的自我迭代，將策略從「可行」推向「最優」，這正是系統思考在動態環境下的極致應用。
展望未來，隨著人機協作日益深化，高階管理者的核心價值將從直接決策，轉向為複雜系統「定義成功」。領導力的展現，將不再僅限於激勵人類團隊，更在於能否設計出一個能引導AI夥伴探索未知、平衡多重目標、並與組織長期願景對齊的「獎勵架構」。
玄貓認為，這套源自計算科學的優化哲學，為管理者提供了一套強大的心智模型。它不僅是技術工具，更是反思自身策略制定與激勵機制的鏡子，是驅動組織與個人實現持續性突破的關鍵修養。
