Kubernetes 秘密管理實戰：外部儲存整合與服務網格安全架構

# 使用 Kubectl 安裝 SealedSecrets 控制器
# 這個指令會從官方儲存庫下載最新的部署定義
# 並在 kube-system 命名空間中建立控制器
kubectl apply -f https://github.com/bitnami-labs/sealed-secrets/releases/download/v0.24.0/controller.yaml

# 驗證控制器是否正常運行
# 檢查 Pod 的狀態,確保進入 Running 狀態
kubectl get pods -n kube-system -l name=sealed-secrets-controller

# 查看控制器的日誌
# 這有助於確認控制器已正確啟動並生成金鑰對
kubectl logs -n kube-system -l name=sealed-secrets-controller

# 下載並安裝 kubeseal 工具
# 這個範例使用 macOS 的安裝方式
# Linux 使用者需要下載對應的二進位檔案
wget https://github.com/bitnami-labs/sealed-secrets/releases/download/v0.24.0/kubeseal-0.24.0-darwin-amd64.tar.gz

# 解壓縮並安裝到系統路徑
tar -xvzf kubeseal-0.24.0-darwin-amd64.tar.gz
sudo install -m 755 kubeseal /usr/local/bin/kubeseal

# 驗證安裝是否成功
kubeseal --version

# 原始的 Secret 定義
# 這個檔案包含敏感資訊,不應該提交到版本控制系統
apiVersion: v1
kind: Secret
metadata:
  # Secret 的名稱
  name: database-credentials
  # Secret 所屬的命名空間
  namespace: production
type: Opaque
# stringData 允許直接使用明文定義秘密值
# Kubernetes 會自動將這些值轉換為 Base64 編碼
stringData:
  # 資料庫使用者名稱
  username: admin
  # 資料庫密碼
  password: super-secret-password
  # 資料庫連線字串
  connection-string: postgresql://admin:super-secret-password@db.example.com:5432/appdb

# 使用 kubeseal 加密 Secret
# --format yaml 指定輸出格式為 YAML
# --cert 參數可以指定離線公鑰檔案,避免每次都連線叢集
kubeseal --format yaml < secret.yaml > sealed-secret.yaml

# 如果需要離線加密,可以先匯出公鑰
# 這在 CI/CD 流程中特別有用
kubeseal --fetch-cert > pub-cert.pem

# 使用離線公鑰進行加密
# 這樣就不需要直接存取 Kubernetes 叢集
kubeseal --format yaml --cert pub-cert.pem < secret.yaml > sealed-secret.yaml

# 查看生成的 SealedSecret
cat sealed-secret.yaml

# 加密後的 SealedSecret 定義
# 這個檔案可以安全地儲存在 Git 儲存庫中
apiVersion: bitnami.com/v1alpha1
kind: SealedSecret
metadata:
  name: database-credentials
  namespace: production
spec:
  # 加密後的資料
  # 每個欄位都使用控制器的公鑰加密
  encryptedData:
    # 加密後的使用者名稱
    # 這是一個長字串的 Base64 編碼加密資料
    username: AgBvD8qN9xK....(省略大量字元)
    # 加密後的密碼
    password: AgC2Mk5pT7L....(省略大量字元)
    # 加密後的連線字串
    connection-string: AgA3nQ8sR2M....(省略大量字元)
  # 定義範本,指定解密後產生的 Secret 類型與名稱
  template:
    metadata:
      name: database-credentials
      namespace: production
    type: Opaque

# 部署 SealedSecret 到 Kubernetes
# 這個操作會觸發控制器執行解密
kubectl apply -f sealed-secret.yaml

# 驗證 Secret 是否被正確建立
# 控制器會自動將 SealedSecret 轉換為 Secret
kubectl get secret database-credentials -n production

# 查看 Secret 的詳細資訊
# 注意:這只會顯示 Base64 編碼的值,不會顯示明文
kubectl describe secret database-credentials -n production

# 在 Pod 中使用這個 Secret
# 建立一個使用此 Secret 的 Pod 定義

# 在 Pod 中使用 Secret 的範例
apiVersion: v1
kind: Pod
metadata:
  name: database-app
  namespace: production
spec:
  containers:
  - name: app
    image: myapp:latest
    # 透過環境變數注入 Secret
    env:
    # 從 Secret 讀取使用者名稱
    - name: DB_USERNAME
      valueFrom:
        secretKeyRef:
          name: database-credentials
          key: username
    # 從 Secret 讀取密碼
    - name: DB_PASSWORD
      valueFrom:
        secretKeyRef:
          name: database-credentials
          key: password
    # 從 Secret 讀取連線字串
    - name: DB_CONNECTION_STRING
      valueFrom:
        secretKeyRef:
          name: database-credentials
          key: connection-string

# 備份 SealedSecrets 控制器的加密金鑰
# 這個 Secret 包含了私鑰,必須安全儲存
kubectl get secret -n kube-system sealed-secrets-key -o yaml > sealed-secrets-key-backup.yaml

# 在新叢集中恢復金鑰
# 這允許在災難恢復時解密既有的 SealedSecret
kubectl apply -f sealed-secrets-key-backup.yaml

# 重新啟動控制器以載入恢復的金鑰
kubectl delete pod -n kube-system -l name=sealed-secrets-controller

# 添加 Secrets Store CSI Driver 的 Helm 儲存庫
# 這個儲存庫包含了官方維護的 Chart
helm repo add secrets-store-csi-driver \
  https://kubernetes-sigs.github.io/secrets-store-csi-driver/charts

# 更新 Helm 儲存庫索引
# 確保能夠取得最新版本的 Chart
helm repo update

# 安裝 CSI Driver
# --namespace kube-system 將元件安裝在系統命名空間
# --set syncSecret.enabled=true 啟用同步 Secret 功能
# --set enableSecretRotation=true 啟用自動輪換功能
helm install csi-secrets-store \
  secrets-store-csi-driver/secrets-store-csi-driver \
  --namespace kube-system \
  --set syncSecret.enabled=true \
  --set enableSecretRotation=true

# 驗證安裝是否成功
# 檢查 DaemonSet 是否在所有節點上運行
kubectl get daemonset -n kube-system -l app=secrets-store-csi-driver

# 查看 Driver Pod 的狀態
kubectl get pods -n kube-system -l app=secrets-store-csi-driver

# 安裝 Azure Key Vault Provider
# 這個 Provider 負責與 Azure Key Vault 進行互動
kubectl apply -f https://raw.githubusercontent.com/Azure/secrets-store-csi-driver-provider-azure/master/deployment/provider-azure-installer.yaml

# 驗證 Provider 是否正常運行
kubectl get pods -n kube-system -l app=csi-secrets-store-provider-azure

# 查看 Provider 的日誌
kubectl logs -n kube-system -l app=csi-secrets-store-provider-azure

# SecretProviderClass 定義範例
# 這個資源描述如何從 Azure Key Vault 取得秘密
apiVersion: secrets-store.csi.x-k8s.io/v1
kind: SecretProviderClass
metadata:
  # SecretProviderClass 的名稱
  # Pod 會引用這個名稱來指定要使用的組態
  name: azure-keyvault-provider
  # 部署的命名空間
  # SecretProviderClass 是命名空間範圍的資源
  namespace: production
spec:
  # 指定使用的 Provider
  # azure 表示使用 Azure Key Vault Provider
  provider: azure
  # Provider 特定的參數
  parameters:
    # Azure Key Vault 的租用戶 ID
    # 這個 ID 用於 Azure AD 認證
    tenantId: "your-tenant-id"
    # Azure Key Vault 的名稱
    # Driver 會從這個 Key Vault 取得秘密
    keyvaultName: "your-keyvault-name"
    # 指定要取得的秘密物件
    # 這是一個 JSON 陣列,每個物件定義一個要取得的秘密
    objects: |
      array:
        - |
          objectName: database-password
          objectType: secret
          objectVersion: ""
        - |
          objectName: api-key
          objectType: secret
          objectVersion: ""
    # 使用 Pod 身份進行認證
    # 這需要在 Azure 中設定 Managed Identity
    usePodIdentity: "true"
  # 定義同步到 Kubernetes Secret 的組態
  # 這是選用功能,允許將外部秘密同步為標準 Kubernetes Secret
  secretObjects:
  - secretName: azure-secrets
    type: Opaque
    # 定義如何對映外部秘密到 Secret 的欄位
    data:
    - objectName: database-password
      key: db-password
    - objectName: api-key
      key: api-key

# 使用 Secret Store CSI Driver 的 Pod 定義
apiVersion: v1
kind: Pod
metadata:
  name: application-pod
  namespace: production
spec:
  containers:
  - name: app-container
    image: myapp:latest
    # 定義磁碟區掛載
    volumeMounts:
    # 將秘密掛載到容器的檔案系統
    - name: secrets-volume
      # 掛載路徑,應用程式從這個路徑讀取秘密
      mountPath: "/mnt/secrets"
      # 唯讀掛載,防止應用程式修改秘密
      readOnly: true
    # 應用程式可以透過環境變數使用秘密
    # 這需要啟用 syncSecret 功能
    env:
    - name: DB_PASSWORD
      valueFrom:
        secretKeyRef:
          name: azure-secrets
          key: db-password
  # 定義磁碟區
  volumes:
  # CSI 磁碟區定義
  - name: secrets-volume
    csi:
      # 指定使用 Secrets Store CSI Driver
      driver: secrets-store.csi.k8s.io
      # 唯讀磁碟區
      readOnly: true
      # 磁碟區屬性
      volumeAttributes:
        # 引用 SecretProviderClass 的名稱
        secretProviderClass: "azure-keyvault-provider"

# 啟用自動輪換的 Helm 安裝參數
# rotation-poll-interval 設定輪詢間隔
helm install csi-secrets-store \
  secrets-store-csi-driver/secrets-store-csi-driver \
  --namespace kube-system \
  --set syncSecret.enabled=true \
  --set enableSecretRotation=true \
  --set rotationPollInterval=2m

# Azure AD Pod Identity 的組態範例
apiVersion: aadpodidentity.k8s.io/v1
kind: AzureIdentity
metadata:
  name: keyvault-identity
  namespace: production
spec:
  # Azure Managed Identity 的資源 ID
  resourceID: "/subscriptions/{subscription-id}/resourcegroups/{resource-group}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identity-name}"
  # 對應的 Client ID
  clientID: "your-client-id"
---
# 將 Identity 綁定到特定的 Pod
apiVersion: aadpodidentity.k8s.io/v1
kind: AzureIdentityBinding
metadata:
  name: keyvault-identity-binding
  namespace: production
spec:
  # 引用上面定義的 AzureIdentity
  azureIdentity: keyvault-identity
  # 選擇器,用於匹配 Pod
  selector: keyvault-pod

# 使用 Pod Identity 的 Pod 定義
apiVersion: v1
kind: Pod
metadata:
  name: application-pod
  namespace: production
  # 添加標籤以匹配 AzureIdentityBinding 的選擇器
  labels:
    aadpodidbinding: keyvault-pod
spec:
  # Pod 定義的其餘部分
  containers:
  - name: app-container
    image: myapp:latest
    volumeMounts:
    - name: secrets-volume
      mountPath: "/mnt/secrets"
      readOnly: true
  volumes:
  - name: secrets-volume
    csi:
      driver: secrets-store.csi.k8s.io
      readOnly: true
      volumeAttributes:
        secretProviderClass: "azure-keyvault-provider"

# 下載 Istio 安裝包
# 這個指令會下載最新版本的 Istio
curl -L https://istio.io/downloadIstio | sh -

# 進入 Istio 目錄
cd istio-*

# 將 istioctl 添加到系統路徑
export PATH=$PWD/bin:$PATH

# 使用 demo 設定檔安裝 Istio
# demo 設定檔適合測試與學習用途
# 生產環境應使用 production 設定檔
istioctl install --set profile=demo -y

# 驗證安裝是否成功
# 檢查 istiod 是否正常運行
kubectl get pods -n istio-system

# 查看 Istio 的版本資訊
istioctl version

# 為命名空間啟用自動 Sidecar 注入
# 這個標籤會觸發 Istio 的注入 Webhook
kubectl label namespace production istio-injection=enabled

# 驗證標籤是否正確設定
kubectl get namespace production --show-labels

# 在已標記的命名空間中部署應用程式
# 新建立的 Pod 會自動包含 Istio Sidecar
kubectl apply -f application-deployment.yaml -n production

# 檢查 Pod 是否包含 Sidecar 容器
# 注入成功的 Pod 會有兩個容器
kubectl get pods -n production

# 查看 Pod 的詳細資訊
# 應該能看到 istio-proxy 容器
kubectl describe pod <pod-name> -n production

# 啟用嚴格 mTLS 的 PeerAuthentication 資源
apiVersion: security.istio.io/v1beta1
kind: PeerAuthentication
metadata:
  # 資源名稱
  name: default
  # 部署在 istio-system 命名空間表示全域策略
  namespace: istio-system
spec:
  # 設定 mTLS 模式為嚴格
  # STRICT 模式要求所有通訊都使用 mTLS
  # PERMISSIVE 模式允許混合使用加密與未加密通訊
  # DISABLE 模式停用 mTLS
  mtls:
    mode: STRICT

# 套用 mTLS 策略
kubectl apply -f peer-authentication.yaml

# 驗證策略是否生效
# 嘗試從網格外的 Pod 連線到網格內的服務
# 這個連線應該會失敗
kubectl run test-pod --image=curlimages/curl --rm -it -- \
  curl http://service-name.production.svc.cluster.local

# 為特定命名空間定義 mTLS 策略
apiVersion: security.istio.io/v1beta1
kind: PeerAuthentication
metadata:
  name: production-mtls
  # 部署在特定命名空間,只影響該命名空間的服務
  namespace: production
spec:
  mtls:
    mode: STRICT
---
# 為特定服務定義 mTLS 策略
apiVersion: security.istio.io/v1beta1
kind: PeerAuthentication
metadata:
  name: database-service-mtls
  namespace: production
spec:
  # 選擇器,只影響匹配標籤的服務
  selector:
    matchLabels:
      app: database-service
  mtls:
    mode: STRICT
  # 為特定埠定義不同的 mTLS 模式
  portLevelMtls:
    # 對於 9090 埠使用寬鬆模式
    # 這對於監控端點可能是必要的
    9090:
      mode: PERMISSIVE

# 檢視服務的證書資訊
# 這個指令會顯示證書的有效期與簽發者
istioctl proxy-config secret <pod-name> -n production

# 查看證書的詳細內容
# 包括 Subject、Issuer、有效期等資訊
kubectl exec <pod-name> -n production -c istio-proxy -- \
  openssl s_client -showcerts -connect localhost:15000 </dev/null

# 驗證 mTLS 連線是否正常
# 這個指令會嘗試建立 mTLS 連線並顯示證書鏈
istioctl experimental proxy-status <pod-name> -n production

# 定義 JWT 認證策略
apiVersion: security.istio.io/v1beta1
kind: RequestAuthentication
metadata:
  name: jwt-authentication
  namespace: production
spec:
  # 選擇要套用策略的服務
  selector:
    matchLabels:
      app: api-gateway
  # 定義 JWT 規則
  jwtRules:
  # JWT 簽發者
  - issuer: "https://auth.example.com"
    # JWKS URI,用於驗證 JWT 簽章
    jwksUri: "https://auth.example.com/.well-known/jwks.json"
    # JWT 必須包含的 audience
    audiences:
    - "api.example.com"

# 定義授權策略
apiVersion: security.istio.io/v1beta1
kind: AuthorizationPolicy
metadata:
  name: api-authorization
  namespace: production
spec:
  # 選擇要套用策略的服務
  selector:
    matchLabels:
      app: api-gateway
  # 定義允許的操作
  rules:
  # 允許帶有 admin 角色的請求存取所有路徑
  - from:
    - source:
        requestPrincipals: ["*"]
    when:
    # JWT claim 中必須包含 admin 角色
    - key: request.auth.claims[role]
      values: ["admin"]
  # 允許帶有 user 角色的請求存取特定路徑
  - from:
    - source:
        requestPrincipals: ["*"]
    to:
    - operation:
        # 限制只能存取 /api/public 路徑
        paths: ["/api/public/*"]
    when:
    - key: request.auth.claims[role]
      values: ["user"]

# 使用 Vault Agent Sidecar 的 Pod 定義
apiVersion: v1
kind: Pod
metadata:
  name: vault-agent-example
  # 這個註解觸發 Vault Sidecar Injector
  annotations:
    # 啟用 Vault Agent 注入
    vault.hashicorp.com/agent-inject: "true"
    # 指定 Vault 的角色
    # 這個角色定義了 Pod 能夠存取哪些秘密
    vault.hashicorp.com/role: "myapp"
    # 定義要注入的秘密
    # 這個註解會創建一個檔案 /vault/secrets/database-config
    vault.hashicorp.com/agent-inject-secret-database-config: "secret/data/database/config"
    # 定義秘密的範本
    # 這允許客製化秘密的輸出格式
    vault.hashicorp.com/agent-inject-template-database-config: |
      {{- with secret "secret/data/database/config" -}}
      export DB_USERNAME="{{ .Data.data.username }}"
      export DB_PASSWORD="{{ .Data.data.password }}"
      export DB_HOST="{{ .Data.data.host }}"
      {{- end }}
spec:
  # 設定 Service Account
  # Vault 使用這個 SA 的 JWT 進行認證
  serviceAccountName: myapp
  containers:
  - name: app
    image: myapp:latest
    # 應用程式從檔案讀取秘密
    # Vault Agent 會自動更新這個檔案
    command:
    - sh
    - -c
    - |
      source /vault/secrets/database-config
      /app/start.sh

# 啟用自動秘密更新的註解
annotations:
  vault.hashicorp.com/agent-inject: "true"
  vault.hashicorp.com/role: "myapp"
  vault.hashicorp.com/agent-inject-secret-database-config: "secret/data/database/config"
  # 啟用檔案變化通知
  # 當秘密更新時,Vault Agent 會發送信號給應用程式容器
  vault.hashicorp.com/agent-inject-command-database-config: "pkill -HUP myapp"

# 使用 Vault Agent Init Container 的 Pod 定義
apiVersion: v1
kind: Pod
metadata:
  name: vault-init-example
  annotations:
    # 使用 Init Container 模式而非 Sidecar
    vault.hashicorp.com/agent-inject: "true"
    vault.hashicorp.com/agent-pre-populate-only: "true"
    vault.hashicorp.com/role: "myapp"
    vault.hashicorp.com/agent-inject-secret-config: "secret/data/app/config"
spec:
  serviceAccountName: myapp
  containers:
  - name: app
    image: myapp:latest
    volumeMounts:
    # 掛載 Vault Agent 寫入秘密的磁碟區
    - name: vault-secrets
      mountPath: /vault/secrets