AI 系統的公平性日益受到重視，構建公平的 AI 系統需要多方面的努力。組織可以成立跨功能團隊，整合資料科學、工程、法律和倫理等專業，全面考量公平性議題。此外，尋求第三方專家協助審核系統並提供改進策略也是常見做法。技術層面上，AIF360、Fairlearn、Google PAIR 工具和 Aequitas 等工具，提供開發者在資料偏差識別、模型公平性評估和偏差減少技術等方面的支援。系統架構設計上，監控機制能即時檢測和減少公平性違規，而日誌記錄則允許事後分析並找出偏差來源。資料準備階段，使用代表性資料，特別是包含代表性不足群體的資料，對於訓練更公平的模型至關重要。模型訓練過程中，應致力於減少偏差，確保相似個體獲得相同對待，並避免特定群體受到不公平待遇。
10.4 實作公平性
公平性是一個相對於隱私而言較為模糊的概念，然而它在軟體系統中同樣重要。組織正在探索如何構建公平的 AI 系統。
10.4.1 組織方法和工具
為了實作公平性，組織可以採取多種方法。其中一種方法是建立一個跨功能的公平團隊，成員來自資料科學、工程、法律和倫理等領域。這樣的團隊可以從多角度解決公平性問題。另一個方法是尋求第三方專家的幫助，組織可以聘請外部專家來審核其系統並提出改進策略。
有多種工具可以幫助開發者在其系統中實作公平性：
- AI Fairness 360（AIF360）：這是一個開源工具包，提供了整個開發生命週期中的功能。開發者可以使用它來識別訓練資料中的偏差、評估模型的公平性以及實驗減少偏差的技術。
- Fairlearn：這是另一個開源工具包，專注於評估和減少公平性問題。Fairlearn 提供了預建的演算法來解決資料和模型中的偏差，以及視覺化工具來瞭解不同群體如何受到影響。
- Google 的 PAIR 工具：Google 的人工智慧研究（PAIR）倡議提供了一些公開可用的資源。其中一個工具是 What-If 工具，它可以幫助視覺化模型的公平性指標如何受到不同方面的影響。
- Aequitas：這是一個開源的偏差稽核工具包，專門針對機器學習模型中的歧視和偏差。它可以幫助開發者發現潛在的公平性問題並瞭解其根源。
10.4.2 架構
有兩種架構機制可以幫助實作公平性：
- 監控或守衛機制：這種機制可以檢查模型的輸出，以檢測和減少公平性違規。
- 日誌記錄：日誌記錄模型的輸入和輸出，可以進行離線分析以確定是否實作了公平的結果。這種方法只能在違規後應用，並且只適用於暫時容忍少量違規的情況。
10.4.3 資料和模型準備
AI 系統中的公平性取決於訓練資料。訓練資料不僅應該代表實際的真實世界輸入，而且應該包含代表性不足群體的資料。這樣可以使模型學習到更多元化的資料，從而實作公平性。
為了實作公平性，開發者需要關注以下幾個方面：
- 避免偏差：AI 系統可以從訓練資料中繼承偏差，導致歧視性的結果。公平性意味著減少這些偏差。
- 相同對待：理想情況下，類別似的個人應該受到相同的對待，不論其背景如何。
- 群體公平性：群體不應該受到不利對待，個人也不應該因為其群體成員身份而受到不利對待。這可能比個體公平性更複雜，因為不同的指標可能會被使用。
透過以上方法和工具，開發者可以在其 AI 系統中實作公平性，減少偏差和歧視，從而創造一個更加公正和公平的智慧世界。
10.4.4 運作中的公平性評估
在人工智慧（AI）系統的運作過程中，維持公平性和避免偏差是一個持續的挑戰。為了確保 AI 系統的決策公平且不受偏見的影響，需要進行嚴格的評估和監控。
公平性指標
評估 AI 系統公平性的常用指標包括：
- 統計上的公平性（Demographic Parity）：此指標確保模型的結果與敏感屬性（如種族或性別）無關。在貸款批准系統中，統計上的公平性意味著不同性別、種族的人們獲得貸款批准的比率相同。
- 平等機會（Equal Opportunity）：此指標關注於是否不同群體中具有相同資格的個體具有相同的獲得正面結果的機會。它考慮了相關的決策因素，而統計上的公平性則確保結果在群體間的一致性，不論其他因素如何。
- 平等化機會（Equalized Odds）：此指標要求真陽性率（正確識別的正面案例）和假陽性率（錯誤識別的正面案例）在不同群體中保持一致，以避免模型對特定群體過度謹慎或寬容。
- 預測公平性（Predictive Parity）：此指標關注於模型的預測（正面或負面）是否在不同群體中與實際情況相符。例如，評估一個再犯率預測模型是否對所有種族的人都同樣準確。
- 治療公平性（Treatment Equality）：此指標檢視不同群體的個體是否為相同的預測結果獲得了相似的治療（如貸款金額）。
測試公平性
為了確定 AI 系統的公平性，可以進行系統性的測試，方法是改變特定的資料專案，並比較系統對這些輸入產生的結果。這個過程涉及提供兩組除了某一資料屬性外完全相同的輸入，並比較系統對這些輸入產生的結果。這個屬性可能是性別（用於測試性別歧視），種族（用於測試種族歧視），或甚至是郵政編碼，因為某些不公平因素可能在住房模式中體現。這種測試可以幫助確定 AI 系統的決策是否反映了這些因素。
運作中的挑戰
在 AI 系統運作過程中，存在著多個挑戰需要關注：
- 資料漂移和社會規範變化：AI 模型面臨著維持與人類價值觀一致性的持續挑戰，因為社會的價值觀和規範正在不斷演變。例如，不久前，已婚女性被拒絕以自己的名字申請貸款或信用卡——在美國，終止這種做法的法律於 1974 年生效。近十年來，許多社會對心理健康的態度發生了轉變，這也反映在我們談論、書寫和開玩笑的方式上。這種不斷適應的需要可能導致模型如果不定期更新以反映社會變化，則會過時或與當前的人類價值觀不一致。
- 人機協同評估：將人類專業知識融入評估過程中，可以對模型與人類價值觀的一致性提供寶貴的洞察，這些洞察可能不會被捕捉到。
- 持續監控偏差漂移：在佈署後定期監控模型在公平性指標上的效能，可以早期檢測到偏差漂移，因為模型遇到新的資料。這使得我們可以及時採取措施糾正偏差，確保模型的公平性和可靠性。
透過嚴格的評估、監控和持續的適應，AI 系統可以更好地維持公平性，避免偏見，並提供更可靠、更公正的服務。
公平性與偏見在基礎模型中的挑戰
基礎模型（FMs）在公平性和偏見方面面臨複雜的挑戰。儘管這些模型是在大量資料集上進行訓練，但它們往往反映了訓練資料中固有的偏見。這可能導致模型的輸出意外地延續現有的社會偏見，或忽略重要的細微差別。
基礎模型的特點是可以根據不同的角色或觀點生成回應，這進一步複雜化了公平性和偏見的評估。由於模型可以在不同情境或提示下切換觀點，因此很難確定偏見的源頭。相反，偏見可能以多種方式表現出來，取決於具體情境或提示，使得評估模型整體公平性變得困難。
討論問題
- 如何在基礎模型中實作「被遺忘的權利」？
- 您的組織中是否設有首席隱私官？如果有，首席隱私官的報告鏈是怎樣的？
- 您的組織如何定義弱勢群體？為了消除這些群體的劣勢，您們採取了哪些做法？這些做法已經實施多久了，它們的影響是什麼？
進一步閱讀
若要了解建立負責任 AI 系統的最佳實踐，請參考玄貓著作《負責任 AI：建立可信系統的最佳實踐》[Lu 23A]。這本文提供了全面性的，涵蓋負責任 AI 治理和工程的各個方面。
對於全球負責任 AI 原則，經濟合作與發展組織（OECD）的 AI 原則提供了一個有用的框架[OECD AIPrinciples]。
資訊隱私權與加州消費者隱私法（CCPA）
瞭解資訊隱私權和加州消費者隱私法（CCPA）的重要性，需要參考相關和官方 CCPA 資訊頁面。同時，玄貓的《負責任 AI 模式目錄》提供了一系列 AI 治理和系統設計的最佳實踐。
從技術倫理與社會責任的視角來看，構建真正公平的 AI 系統依然充滿挑戰。本文深入探討了實作 AI 公平性的組織方法、工具、架構以及資料和模型準備策略，並著重分析了運作中公平性評估的指標、測試方法和挑戰。然而，技術層面的努力僅是解決方案的一部分。
多維比較分析顯示，雖然 AIF360、Fairlearn、Google PAIR 工具和 Aequitas 等工具為開發者提供了識別和減輕偏差的技術手段，但偏差的根源往往深植於社會結構和歷史資料之中。單純依靠技術工具難以根除這些深層次問題。此外，本文也揭示了在實際應用中，資料漂移、社會規範變化以及人機協同評估的複雜性，都對維持 AI 系統的公平性提出了更高的要求。尤其值得關注的是，基礎模型的多樣化角色扮演能力，使得偏見的識別和減輕更加困難。
AI 公平性不僅需要技術社群的持續努力，更需要跨學科的合作，包括社會學、倫理學、法律和政策等領域的共同參與。從技術演進角度，發展可解釋 AI、強化資料治理以及建立更具包容性的資料集將是未來突破的關鍵方向。玄貓認為，AI 公平性並非單一目標，而是一個持續演進的過程。唯有將技術進步與社會責任緊密結合，才能真正構建出兼具效能與公平的 AI 系統，最終造福全人類。對於追求長遠價值的企業而言，積極探索和實踐負責任 AI，將是建立可持續競爭優勢的關鍵所在。
