Terraform 多雲平台資源匯入與逆向工程實踐

– 14 分鐘閱讀

在雲端原生時代，基礎設施即程式碼（IaC）已成為常態。Terraform 作為 IaC 的主流工具，其資源匯入和逆向工程功能，對於管理現有雲端資源至關重要。本文將聚焦於 Google Cloud Platform (GCP)、Microsoft Azure 和 Amazon Web Services (AWS) 三大公有雲平台，解析如何運用 Terraform 進行資源匯入和逆向工程，並分享實務經驗和最佳實踐。對於已存在大量資源的環境，直接在雲端平台上手動建立 Terraform 組態檔顯然效率低下且容易出錯。利用 Terraform 的資源匯入功能，可以將現有資源轉換為 Terraform 管理的狀態，實作 IaC 的平滑過渡。更進一步，逆向工程則允許從現有基礎設施生成 Terraform 組態檔，方便日後修改和管理。這對於接手既有專案或分析複雜環境的工程師來說，無疑是一大利器。不同雲端平台的工具和流程略有差異，GCP 的 gcloud 命令列工具提供資源組態匯出功能，Azure 則有 aztfexport 等社群工具輔助，而 AWS 則可藉助 Terraformer 等第三方工具。

使用 Terraform 進行不同雲端平台的資源匯入

在現代的 DevOps 環境中，Terraform 已經成為自動化基礎設施管理的重要工具。許多雲端服務提供者，如 Google Cloud Platform（GCP）和 Microsoft Azure，都推出了相關的工具來支援 Terraform 的資源匯入。這些工具可以幫助 IT 管理員更輕鬆地將現有的資源匯入 Terraform，從而實作基礎設施即程式碼（Infrastructure as Code, IaC）的管理方式。

Google Cloud Utility for Terraform Import

隨著 Terraform 在 DevOps 領域的普及，越來越多的企業開始在 GCP 上採用這項技術。同時，GCP 也推出了一些原生工具來支援自動化匯入現有資源到 Terraform。其中一個是由 Google 最近宣佈的 gcloud beta resource-config 工具。這個工具內建了反向工程邏輯，能夠與 GCP 進行互動，抓取執行在 GCP 專案中的資源所需的 Terraform 組態。

基本使用流程

以下是使用 gcloud beta resource-config 工具匯入 GCP 資源的高層步驟：

  1. 準備工作：

    • 取得並啟用 GCP 專案中的服務帳戶金鑰。
    • 確保服務帳戶擁有 Cloud Asset Viewer 角色。
    • 啟用以下 API：cloud asset API 和 service usage API。

  2. 匯入步驟：

    • 定義執行環境並設定 GCP 專案、區域和區域。
    • 執行以下命令來批次匯出 GCP 專案中的資源組態檔案：
      gcloud beta resource-config bulk-export --project=<Project Name> --path=./instances --resource-format=Terraform --resource-types=storage.cnrm.cloud.google.com/ComputeInstance -q
    • 在批次匯出後，將所需的資源 *.tf 檔案複製到另一個目錄中。
    • 執行 terraform init。
    • 使用以下命令匯入所需資源：
      terraform import google_compute_instance.<VMname> <ProjectName>/<Region>/<VMName>
    • 執行 terraform plan 並驗證沒有建議任何變更。如果沒有建議變更，表示匯入成功。

次段落標題：內容解密：

以上命令會從 GCP 中抓取特定資源（例如 VM）的組態並生成 .tf 檔案。這些 .tf 檔案可以直接用於 Terraform 的初始化和應用。

Microsoft Azure Cloud Utility for Terraform Import

對於 Azure 平台，也有幾個社群和 Microsoft 支援的工具可以幫助將現有資源匯入到 Terraform 中。以下是幾個常用的工具：

Azure Terrafy (aztfy)

Azure Terrafy 是一個開源工具，可以將現有的 Azure 基礎設施轉換為 Terraform HCL 組態，並將其匯入到 Terraform 的狀態中。以下是使用 Azure Terrafy 的範例：

aztfy resource <resource id>

例如：

aztfy resource /subscriptions/XXXXX-XXXX-XXXX-XXXX-XXXXXXX/resourcegroups/test_group/providers/Microsoft.Compute/virtualMachines/test

執行完上述命令後，會生成一些 .tf 和 Terraform.tfstate 檔案。

次段落標題：內容解密：

Azure Terrafy 是一個強大的工具，能夠快速地將現有的 Azure 資源轉換為 Terraform 組態。這對於那些希望將現有基礎設施轉換為 IaC 的團隊來說非常有用。

Azure Export

Azure Export 是另一個由 Microsoft 提供的工具，專門設計來降低 Azure 和 Terraform 概念之間的轉換摩擦。這個工具允許使用者將現有的 Azure 資源匯出為 HCL 組態檔案，並將其匯入到 Terraform 中。

次段落標題：內容解密：

Azure Export 提供了多種匯出選項，從單一資源到整個訂閱都可以輕鬆處理。這使得它在需要大規模匯出時特別有用。

小段落標題：適用範圍

隨著雲端技術和自動化工具的不斷發展，未來可能會有更多高效且智慧化的解決方案出現。IT 管理員需要持續關注技術趨勢並靈活應用新技術來提升自己的工作效率和系統穩定性。

此圖示展示了 GCP 平台上使用 gcloud beta resource-config 工具進行 Terraform 資源匯入的流程：

此圖示展示了 Azure 平台上使用 Azure Terrafy 工具進行 Terraform 資源匯入的流程：

@startuml
skinparam backgroundColor #FEFEFE
skinparam componentStyle rectangle

title Terraform 多雲平台資源匯入與逆向工程實踐

package "Terraform 工作流程" {
    actor "DevOps" as dev

    package "本地開發" {
        component [.tf 設定檔] as tf
        component [terraform.tfvars] as vars
        component [.tfstate] as state
    }

    package "Terraform Core" {
        component [Init] as init
        component [Plan] as plan
        component [Apply] as apply
        component [Destroy] as destroy
    }

    package "Providers" {
        cloud "AWS" as aws
        cloud "GCP" as gcp
        cloud "Azure" as azure
    }

    database "Remote State" as remote
}

dev --> tf : 編寫配置
tf --> init : 初始化
init --> plan : 規劃變更
plan --> apply : 執行變更
apply --> aws : 建立資源
apply --> gcp : 建立資源
apply --> azure : 建立資源
apply --> state : 更新狀態
state --> remote : 同步狀態

@enduml

利用 Azure Export 工具自動生成組態檔及匯入 Azure 虛擬機器

在現代雲端運算環境中，利用自動化工具來管理和佈署資源已經成為標準操作。Azure Export 工具正是這樣的自動化工具之一，它能夠讀取現有的 Azure 資源並生成對應的 Terraform 組態檔。這不僅方便了開發者和維運人員，也大大提升了效率和一致性。本文將探討如何使用 Azure Export 工具來自動生成組態檔，並將現有的 Azure 虛擬機器匯入到 Terraform 中。

確認現有基礎設施

Azure Export 工具提供了僅讀取的匯出功能，並且可以公開所有可組態的資源屬性。這對於學習新推出的 Azure 資源或調查生產環境中的問題非常有幫助。以下是一些關於安裝和使用 Azure Export 工具的基本資訊：

  1. 安裝二進位檔案：從官方網站下載並安裝 Azure Export 工具。
  2. 使用原始碼生成 Terraform 組態檔：利用工具的原始碼來生成特定資源的 Terraform 組態檔。

以下是一個範例 CLI 指令，用於透過資源 ID 來匯入資源：

aztfexport [command] [option] <scope>

其中，scope 會根據你要執行的指令而有所不同。如果你要匯入單一資源或資源群組，指令會有所不同。

命令選項總覽

| 任務 | 說明 | 指令 | |

|

|

| | 匯出單一資源 | 使用 Azure 資源 ID 來指定要匯出的資源 | aztfexport resource [option] <resource id> | | 匯出資源群組 | 使用資源群組名稱來指定要匯出的資源群組（以及其巢狀資源） | aztfexport resource-group [option] <resource group name> | | 使用查詢匯出 | 支援使用 Azure 資源圖查詢來匯出資源 | aztfexport query [option] <ARG where predicate> |

停用遙測資料收集

Azure Export for Terraform 預設會收集遙測資料以改善使用者經驗，但它並不會收集任何私人或個人資料。如果你希望停用這個功能，可以使用以下指令：

aztfexport config set telemetry_enabled false

AWS 平台上的 Terraform 匯入工具

除了 Azure 外，Amazon AWS 平台也有類別似的開源工具可供使用。例如，Terraformer 是由 Waze 引擎團隊開發的工具，雖然它不是 Google 的官方產品，但卻被廣泛應用於多個雲端平台，包括 Amazon、Google、IBM 雲端和阿里巴巴雲端。

以下是如何使用 Terraformer 的基本步驟：

  1. 安裝 Terraformer：按照 GitHub 上的指示進行安裝。
  2. 克隆 GitHub 儲存函式庫：進入 Terraformer 目錄。
  3. 建立模組：選擇相應的供應商進行模組建立。
  4. 執行匯入指令：開始匯入現有的 AWS 資源。

以下是一個範例 CLI 指令，用於匯入 AWS us-east-1 區域中的所有 EC2 例項：

Terraformer import aws --resources=ec2_instance --regions=ap-southeast-2

Terraformer 的主要功能

  • 生成 TF/JSON 和 tfstate 檔案。
  • 支援上傳到雲端儲存桶。
  • 支援按資源名稱和型別進行匯入。
  • 支援自定義檔案夾樹結構。

動手實作：使用 Azure Export 自動生成組態檔及匯入 Azure VM

在這個動手實作中，玄貓將展示如何使用 Azure Export for Terraform 自動生成組態檔並將現有的 Azure 虛擬機器匯入到 Terraform 中。

前提條件

你需要在本地機器上安裝並組態好 Azure CLI 和 Terraform。

操作步驟

  1. 準備工作：確保已經建立了一個名為 Test_Terraform 的資源群組以及一個虛擬機器。

  2. 下載與安裝 Azure Export 工具：按照官方檔案進行下載和安裝。

  3. 執行匯出指令：使用以下指令來匯出虛擬機器的組態檔：

aztfexport resource <resource id>

  1. 確認匯出結果：檢查生成的 Terraform 組態檔和狀態檔案。

  2. 執行 terraform plan：確認沒有任何變更被建議。

注意事項與最佳實踐

雖然這些工具提供了強大的自動化功能，但在實際應用中仍需注意以下幾點：

  1. 選擇合適的工具：根據你的具體需求選擇合適的工具。
  2. 系統性操作：使用系統性方法來匯入雲端資源。
  3. 手動調整：可能需要根據具體情況進行一些手動調整。
  4. 確認狀態檔案：確保狀態檔案和組態檔案的一致性和準確性。

透過這些步驟和注意事項，你可以順利地將現有的雲端資源匯入到 Terraform 中，從而更高效地管理和佈署你的基礎設施。

在 Azure 中使用 Terraform 自動生成與匯入組態檔案

在現代雲端運算中，基礎設施即程式碼（Infrastructure as Code, IaC）已成為不可或缺的技術。Azure 提供了許多工具來協助開發人員將現有資源轉換為 Terraform 組態檔案，其中一個強大的工具就是「Azure Export for Terraform」。這篇文章將詳細介紹如何使用這個工具來自動生成和匯入 Azure 資源的 Terraform 組態檔案，並確保整個過程的順利進行。

使用 Azure Export for Terraform 工具

首先，我們需要下載並安裝 Azure Export for Terraform 工具。這個工具可以從 GitHub 取得，並且需要提取出 .exe 檔案到指定的資料夾中。以下是詳細的步驟：

  1. 下載並安裝 Azure Export for Terraform 工具：

    • 前往 GitHub 釋出頁面：Azure Export for Terraform
    • 下載並提取 .exe 檔案到指定的資料夾，例如桌面上的 aztf 資料夾。

  2. 確認 Azure CLI 安裝並更新：

    • 確保你已經登入到所需的 Azure 裝置訂閱，可以使用以下命令：
      az login
az account set --subscription <desired subscription>
    • 確認 Azure CLI 已經是最新版本。如果沒有，可以從官方網站下載並安裝最新版本：Azure CLI 安裝

  3. 執行 Azure Export for Terraform 工具：

    • 開啟 PowerShell，進入 aztf 資料夾。
    • 執行以下命令來開始匯出資源：
      .\aztfexport.exe resource-group <resource-group name>

  4. 選擇匯出選項：

    • 根據提示選擇相應的選項來進行資源匯出。
    • 工具會開始初始化 Microsoft Azure Export for Terraform，這個過程可能需要一些時間。

  5. 檢查資源列表：

    • 初始化完成後，會顯示一個資源列表，每一行都包含了一個 Azure 資源 ID 和對應的 AzureRM 資源型別。
    • 檢查列表底部的可用命令，確保所有預期的 Azure 資源都正確地對映到其相應的 Terraform 資源型別。

  6. 執行自動匯入：

    • 按下 W 鍵來執行自動匯入 Azure 資源到 Terraform 的功能。
    • 完成後，你會看到資料夾中已經填充了所需的 Terraform 組態檔案。

自動生成的 Terraform 組態檔案

完成上述步驟後，我們會得到一個自動生成的主組態檔案 main.aztfexport.tf。以下是該檔案的一部分內容：

resource "azurerm_resource_group" "res-0" {
  location = "uksouth"
  name     = "Test_Terraform"
}

resource "azurerm_windows_virtual_machine" "res-1s" {
  admin_password         = "ignored-as-imported"
  admin_username         = "cloudadmin"
  location               = "uksouth"
  name                   = "Test"
  network_interface_ids  = ["/subscriptions/XXXXXX/resourceGroups/Test_Terraform/providers/Microsoft.Network/networkInterfaces/test431_z1"]
  resource_group_name    = "Test_Terraform"
  size                   = "Standard_DS1_v2"
  zone                   = "1"

  boot_diagnostics {
  }

  os_disk {
    caching              = "ReadWrite"
    storage_account_type = "Premium_LRS"
  }

  plan {
    name       = "servercore-2019"
    product    = "servercore-2019"
    publisher  = "cloud-infrastructure-services"
  }

  source_image_reference {
    offer     = "servercore-2019"
    publisher = "cloud-infrastructure-services"
    sku       = "servercore-2019"
    version   = "latest"
  }

  depends_on = [
    azurerm_network_interface.res-2,
  ]
}

內容解密：

這段程式碼定義了一個名為 Test_Terraform 的資源群組和一個名為 Test 的 Windows 虛擬機器。這些資源位於 uksouth 地區，並且虛擬機器使用了標準型號 Standard_DS1_v2。此外，還組態了 Boot Diagnostic、OS Disk 和 Plan，並且依賴於 azurerm_network_interface.res-2。

驗證匯入結果

為了確保匯入成功，我們需要進行一些驗證步驟：

  1. 初始化 Terraform：

    terraform init

  2. 檢查組態計畫：

    terraform plan

    預期不應該有任何變更建議。

自動生成組態檔案

Azure Export for Terraform 不僅僅能夠進行資源匯入，它還可以單獨生成 Terraform 組態檔案。以下是一個範例命令：

C:\Users\AzureUser\Desktop\test\aztfexport.exe resource-group --non-interactive --hcl-only <resource-group name>

這樣可以直接生成 HCL 檔案而不需要進行互動操作。

從零開始：利用Terraform進行基礎設施逆向工程

在現代IT環境中，基礎設施自動化已經成為一個不可或缺的技能。Terraform 是一種流行的開源工具，能夠幫助我們實作基礎設施即程式碼（Infrastructure as Code, IaC），但它也提供了逆向工程功能，使得我們可以將現有的基礎設施轉換為 Terraform 組態。這對於那些需要將傳統基礎設施轉移到自動化管理的企業來說，具有重要意義。

為什麼需要逆向工程？

在過去，許多企業的基礎設施都是透過手動方式建立和管理的。隨著技術的進步，這種方式已經無法滿足當前的需求。傳統基礎設施的管理方式存在許多問題，例如難以標準化、難以自動化、難以維護等。而 Terraform 的逆向工程功能則提供了一個解決方案，讓我們可以將這些現有資源轉換為 IaC，從而實作自動化管理。

Google Cloud Platform (GCP) 的逆向工程

GCP 提供了 gcloud beta resource-config 這個命令，能夠幫助我們將現有資源轉換為 Terraform 組態。以下是具體步驟：

  1. 安裝 gcloud CLI：確保你已經安裝並組態好 gcloud CLI。
  2. 列出資源：使用 gcloud beta resource-config list 命令列出所有可逆向工程的資源。
  3. 生成組態檔：使用 gcloud beta resource-config export 命令生成組態檔。
gcloud beta resource-config export --resource-id=your-resource-id --output=terraform-output

內容解密：

此段程式碼展示如何使用 gcloud CLI 將 GCP 上的現有資源轉換為 Terraform 組態。首先，我們需要列出所有可逆向工程的資源，然後使用 export 命令將選定的資源輸出為 Terraform 組態檔。這樣我們就可以直接使用這些組態來管理現有資源。

Microsoft Azure 的逆向工程

Azure 提供了多種工具來幫助我們進行逆向工程，例如 aztfexport 和 Azure Export。以下是具體步驟：

  1. 安裝 Azure CLI：確保你已經安裝並組態好 Azure CLI。
  2. 使用 aztfexport：這是一個開源工具，能夠幫助我們將 Azure 資源轉換為 Terraform 組態。
  3. 匯入資源：使用 terraform import 命令將現有資源匯入到 Terraform 中。
aztfexport <resource-id> > terraform-output.tf
terraform import azure_virtual_machine.example <resource-id>

內容解密：

此段程式碼展示如何使用 aztfexport 工具將 Azure 上的現有資源轉換為 Terraform 組態。首先，我們需要安裝並組態好 Azure CLI，然後使用 aztfexport 命令將選定的資源輸出為 Terraform 組態檔。最後，使用 terraform import 命令將這些資源匯入到 Terraform 中，從而實作自動化管理。

Amazon Web Services (AWS) 的逆向工程

AWS 提供了多種工具來幫助我們進行逆向工程，例如 AWS CloudFormation 和第三方工具如 Terrateam。以下是具體步驟：

  1. 安裝 AWS CLI：確保你已經安裝並組態好 AWS CLI。
  2. 生成 CloudFormation 範本：使用 AWS 管理控制檯生成 CloudFormation 範本。
  3. 轉換為 Terraform 組態：使用第三方工具如 Terrateam 將 CloudFormation 範本轉換為 Terraform 組態。
terrateam convert --template-file cloudformation-template.json --output terraform-output.tf

內容解密：

此段程式碼展示如何使用 Terrateam 工具將 AWS 上的 CloudFormation 範本轉換為 Terraform 組態。首先，我們需要生成 CloudFormation 範本，然後使用 terrateam convert 命令將範本轉換為 Terraform 組態檔。這樣我們就可以直接使用這些組態來管理現有資源。

反思與未來趨勢

在進行基礎設施逆向工程時，我們需要考慮多方面的因素，包括技術選型、未來趨勢及實務應用評估。Terraform 作為一種強大的 IaC 工具，能夠幫助我們實作基礎設施自動化管理。然而，隨著技術的不斷進步和需求的變化，我們需要不斷更新和改進我的技術知識和技能。

首先，技術選型是非常重要的一步。不同的雲端服務提供者（如 GCP、Azure 和 AWS）都提供了自己的逆向工程工具和方法，我們需要根據實際需求選擇最合適的工具和方法。

其次，未來趨勢也是我們需要考慮的一個重要因素。隨著雲端計算和自動化技術的不斷發展，基礎設施自動化管理將會變得更加普及和重要。我們需要不斷學習和掌握新技術和新方法，以便更好地應對未來的挑戰。

最後，實務應用評估也是非常重要的一環。在進行基礎設施逆向工程時，我們需要考慮實際應用中的各種問題和挑戰，包括但不限於安全性、可靠性、可擴充套件性等方面的問題。

透過反思和總結經驗教訓,玄貓認為基礎設施自動化管理是一個不斷發展和進步的過程,只不過現在只是開始,未來還有更多有趣且值得挑戰的地方等待大家去探索.

Terraform 的整體架構與應用

在現代雲端運算與資訊技術（IT）架構中，Terraform 是一個強大的工具，能夠幫助使用者進行基礎設施即碼（Infrastructure as Code, IaC）的管理。透過 Terraform，開發者可以以程式碼的方式來定義和管理基礎設施資源，從而實作自動化佈署與管理。以下玄貓將探討 Terraform 的核心概念、使用方法及其在實務中的應用。

Terraform 的核心概念

Terraform 的核心概念主要包括以下幾個部分：

  1. Providers（提供者）：Providers 是 Terraform 與外部 API 之間的橋樑，用於管理特定的資源。例如，AWS、Azure 和 Google Cloud Platform 都有各自的 Providers。

  2. Resources（資源）：Resources 是 Terraform 管理的基本單位，代表真實世界中的一個 IT 資源，如虛擬機器、網路或儲存裝置。

  3. Modules（模組）：Modules 是一組 Terraform 組態檔案的集合，可以重複使用並且能夠封裝特定功能。透過 Modules，使用者可以將常見的基礎設施組態封裝成可重用的元件。

  4. State File（狀態檔案）：State File 是 Terraform 用來記錄當前基礎設施狀態的檔案。它包含了所有已佈署資源的詳細資訊，並且是 Terraform 在進行更新或刪除操作時所必需的。

自動化與效率

Terraform 提供了強大的自動化能力，能夠顯著提升基礎設施管理的效率。以下是一些 Terraform 自動化與效率的關鍵應用：

  1. 應用程式佈署：Terraform 可以自動化應用程式的佈署過程，從而減少人工干預並加快佈署速度。

  2. 網路與安全設定：Terraform 支援自動化網路與安全設定，例如防火牆規則、VPC 和子網組態等。

  3. 災難復原計畫：透過 Terraform，可以自動化災難復原計畫中的基礎設施重建過程，確保在發生故障時能夠快速還原服務。

  4. 合規性管理：Terraform 可以幫助企業自動化合規性檢查和報告，確保基礎設施符合相關法律和標準。

Reverse Engineering 的應用

Reverse Engineering 在 IT 基礎設施中具有重要意義，特別是在現有環境中引入 Terraform 時。Terraform 支援 reverse engineering，能夠自動生成現有基礎設施的組態檔案。這對於將傳統 IT 資產轉移到 IaC 模型中具有顯著幫助。

Reverse Engineering 的具體步驟

  1. 生成組態檔案：Terraform 可以透過 reverse engineering 自動生成現有資源的組態檔案。這些組態檔案包含了資源的詳細引數和屬性，方便後續管理和變更。

  2. 資源物件庫存：Terraform 能夠查詢並列出現有資源物件庫存。這對於理解和管理現有基礎設施非常重要。

  3. 引數定義：Reverse Engineering 過程中會生成詳細的引數定義，這些引數定義對於後續基礎設施管理至關重要。

Terraform 的整體流程

Terraform 的工作流程通常包括以下幾個步驟：

  1. 初始化：使用 terraform init 命令來初始化工作目錄，下載必要的 Providers 和 Modules。

  2. 計劃：使用 terraform plan 命令來預覽將要執行的變更，確保沒有錯誤或意外。

  3. 應用：使用 terraform apply 命令來執行計劃中的變更，佈署或更新基礎設施。

  4. 狀態管理：使用 terraform state 命令來查詢和管理狀態檔案，確保狀態的一致性和完整性。

Public Cloud 平台應用

在 Public Cloud 平台上使用 Terraform 具有許多優勢：

  1. 學習曲線：雖然初次使用 Terraform 可能需要一定的學習時間，但一旦掌握後能夠顯著提升基礎設施管理效率。

  2. 預覽功能：Terraform 提供了強大的預覽功能，允許使用者在實際執行前檢視變更內容，從而避免意外發生。

  3. 預組態資源：Terraform 能夠自動預組態公有雲平台上的資源，確保基礎設施的一致性和穩定性。

玄貓 BlackCat

玄貓 BlackCat

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。