AWS Glue 與 Batch 資料工程應用

– 11 分鐘閱讀

在資料工程領域中，AWS Glue 和 AWS Batch 提供了強大的 ETL 和批次處理能力。AWS Glue 簡化了資料轉換流程，支援多種資料源和格式，並可自動生成程式碼。開發者可使用 Spark 或 Jupyter Notebook 建立 Glue ETL 作業，靈活地處理資料。AWS Batch 則負責批次計算工作負載的最佳化，透過動態資源組態和容器化技術，提升執行效率並降低成本。同時，AWS Batch 與 Spot Instances 的整合，更進一步節省了運算資源的開銷。這兩項服務的結合，為企業構建高效、可擴充套件的資料處理pipeline奠定了堅實基礎，並能與其他 AWS 服務，如 Redshift 和 Athena，無縫整合，滿足不同的資料分析需求。

AWS Glue 與 AWS Batch 在資料工程中的應用

在現代資料驅動的組織中，批次處理和ETL（提取、轉換、載入）作業對於資料管理和分析至關重要。AWS提供了兩項強大的服務：AWS Glue和AWS Batch，分別針對ETL作業和批次計算工作負載進行了最佳化。

使用AWS Glue進行ETL作業

AWS Glue是一種完全託管的ETL服務，能夠簡化資料準備和分析的過程。它支援多種資料來源和格式，能夠自動生成程式碼，並提供可擴充套件的執行環境。

建立AWS Glue ETL作業

  1. 建立Spark指令碼作業：可以透過編寫Spark指令碼來建立ETL作業，將資料從源頭提取、轉換後載入目標系統。

  2. 使用Jupyter Notebook：除了Spark指令碼，也可以使用Jupyter Notebook來建立ETL作業。這種方式更適合於開發和測試階段，因為它允許在程式碼中指定資源分配。

示例程式碼：將資料寫入S3

df_final = create_final_dataframe(df_joined)
glue_dynamic_frame_final = DynamicFrame.fromDF(df_final, glueContext, "glue_etl")

s3output = glueContext.getSink(
    path="s3://bucketname/targetname",
    connection_type="s3",
    updateBehavior="UPDATE_IN_DATABASE",
    partitionKeys=[],
    compression="snappy",
    enableUpdateCatalog=True,
    transformation_ctx="s3output",
)

s3output.setCatalogInfo(catalogDatabase="dbname", catalogTableName="tablename")
s3output.setFormat("glueparquet")
s3output.writeFrame(glue_dynamic_frame_final)
job.commit()

內容解密：

  • create_final_dataframe(df_joined)：此函式用於建立最終的DataFrame，具體實作取決於資料轉換的需求。
  • DynamicFrame.fromDF：將Spark DataFrame轉換為Glue的DynamicFrame，以便利用Glue的功能。
  • glueContext.getSink：組態資料寫入S3的相關引數，包括路徑、連線型別、更新行為等。
  • setCatalogInfo和setFormat：設定資料目錄資訊和輸出格式。
  • writeFrame：將DynamicFrame寫入組態的目標位置。
  • job.commit()：提交作業，表示ETL流程的完成。

AWS Batch：批次計算工作負載的最佳化

AWS Batch是一種完全託管的服務，能夠高效執行批次計算工作負載。它消除了複雜的基礎設施管理任務，讓使用者能夠專注於設計和實作批次作業。

AWS Batch的核心元件

  1. 作業和作業定義：作業是AWS Batch的核心工作單元，可以是指令碼、可執行檔案或Docker容器。作業定義則指定了如何執行這些作業，包括資源需求和容器映像。

  2. 作業佇列和排程器：作業佇列儲存提交的作業，直到它們能夠被執行。排程器根據作業的依賴關係和資源需求決定何時、在哪裡以及如何執行作業。

  3. 計算環境：這是執行批次作業的計算資源，可以動態擴充套件，並利用各種EC2例項型別，包括成本效益高的Spot Instances。

AWS Batch的功能特點

  1. 動態資源組態：根據提交的作業需求自動組態計算資源，實作資源的高效利用和成本最佳化。

  2. 無縫容器整合：支援Docker容器，確保應用程式在不同環境中的可移植性和一致性。

  3. 全面的作業管理：提供直觀的介面來管理和監控批次作業，包括詳細的日誌和報告功能，有助於故障排除和最佳化。

AWS Batch 的優勢與應用

AWS Batch 為企業提供了高效能且可擴充套件的批次處理解決方案。其設計旨在處理各種規模的工作負載，從單節點任務到複雜的多節點平行計算。AWS Batch 的彈性架構確保了它能夠滿足不同企業的多樣化需求，提供了一個強大的解決方案來應對各種計算挑戰。

AWS Batch 的主要優勢

AWS Batch 提供了多項優勢，增強了批次處理的效率和效果。以下詳細介紹了 AWS Batch 的主要優勢，突出了它對管理計算工作負載的轉變性影響：

  1. 成本最佳化與 Spot Instances：AWS Batch 允許使用者利用 Amazon EC2 Spot Instances，顯著降低計算成本。Spot Instances 以折扣價提供未使用的 EC2 容量，使其成為執行批次作業的經濟選擇。透過自動選擇最具成本效益的資源，AWS Batch 幫助企業在保持效能的同時最佳化支出，確保預算限制不會阻礙大規模工作負載的執行。

  2. 可擴充套件性和彈性：AWS Batch 旨在適應任何規模的工作負載，提供無與倫比的可擴充套件性和彈性。它可以有效地管理小型單節點任務和大型複雜的多節點計算。這種適應性確保了 AWS Batch 能夠滿足企業的多樣化需求，讓他們在需求增長時無縫地擴充套件業務。無論是處理日常資料處理還是密集的計算任務，AWS Batch 都提供了一個能夠隨著組織需求而演變的強大解決方案。

  3. 簡化的作業管理：AWS Batch 透過其使用者友好的介面和全面的監控工具簡化了批次作業的管理。使用者可以輕鬆提交、排程和跟蹤作業，透過詳細的日誌和報告獲得對效能和資源利用率的寶貴見解。這種簡化減少了管理的負擔，使團隊能夠專注於核心任務，而不是基礎設施管理。透過增強可視性和控制，AWS Batch 授權企業最佳化工作流程並提高整體生產力。

AWS Batch 的缺點

雖然 AWS Batch 提供了許多好處，但它也有一些缺點，使用者應該考慮。組態計算環境的複雜性是一個主要問題，尤其是對於不熟悉 AWS 基礎設施的使用者。設定正確的資源組合、安全設定和網路選項需要對 AWS 服務有深入的瞭解。這種複雜性可能導致潛在的錯誤組態，影響效能和安全。企業可能需要投入時間進行培訓或尋求專家協助，以確保其計算環境針對特定的工作負載需求進行了最佳化。

  1. 作業排程的潛在延遲：AWS Batch 可能會經歷作業排程的延遲，特別是在使用高峰期或大量依賴 Spot Instances 時。這些延遲可能會影響時間敏感的工作負載，因為作業可能在執行前在佇列中等待的時間比預期的長。雖然 AWS Batch 旨在最佳化資源分配，但外部因素（如現貨市場波動）可能會引入不可預測性。使用者需要在規劃批次處理任務時考慮這些潛在的排程延遲，以確保及時完成。

AWS Batch 實用

要使用 AWS Batch，請遵循以下步驟：

  1. 登入到 AWS 控制檯。
  2. 在搜尋欄中搜尋 AWS Batch，然後點選 AWS Batch。
  3. 新增一個小工具以顯示單個作業佇列的詳細資訊。
  4. 為單個作業佇列選擇「新增小工具」，並指定作業佇列和要顯示的作業狀態。
  5. 新增另一個小工具以顯示「CloudWatch Container Insights」，它顯示了 AWS Batch 計算環境和作業的綜合統計資料。
  6. 新增一個小工具以顯示作業日誌，輸入要檢視的作業 ID。

程式碼範例：使用 AWS CLI 組態 AWS Batch

# 組態計算環境
aws batch create-compute-environment --compute-environment-name my-env \
    --type MANAGED --service-role arn:aws:iam::123456789012:role/AWSBatchServiceRole \
    --compute-resources-type EC2 --minvCpus 0 --maxvCpus 16 \
    --instance-types optimal --subnets subnet-12345678 --security-group-ids sg-12345678

# 建立作業佇列
aws batch create-job-queue --job-queue-name my-queue \
    --priority 1 --compute-environment-order order=0,computeEnvironment=arn:aws:batch:REGION:123456789012:compute-environment/my-env

# 提交作業
aws batch submit-job --job-name my-job --job-queue my-queue \
    --job-definition my-job-definition

內容解密：

上述程式碼展示瞭如何使用 AWS CLI 組態 AWS Batch。首先，我們建立了一個計算環境，指定了計算資源的型別、最小和最大 vCPU 數量、例項型別、子網和安全組。接下來，我們建立了一個作業佇列，並將其與計算環境相關聯。最後，我們提交了一個作業到作業佇列中，指定了作業名稱、作業定義等引數。

AWS Redshift 簡介

AWS Redshift 是一種完全託管的雲端資料倉儲服務，旨在處理大規模資料分析。它允許企業使用根據 SQL 的工具和商業智慧應用程式高效地分析龐大的資料集。Redshift 的架構建立在大型平行處理（MPP）模型上，能夠跨多個節點分發和處理查詢，確保高效能。

AWS Redshift 資料倉儲解決方案深度解析

AWS Redshift 是一種強大的雲端資料倉儲服務，能夠高效處理和分析龐大的資料集。它採用領先的技術架構和多項創新功能，為企業提供快速、可擴充套件且安全的資料分析能力。

Redshift 的核心優勢

Redshift 的成功關鍵在於其卓越的效能和可擴充套件性。這使得企業能夠在無需管理硬體和軟體基礎設施的情況下，從資料中取得寶貴的洞察。憑藉自動備份、資料加密以及與其他 AWS 服務的無縫整合，Redshift 為資料倉儲需求提供了強大而安全的平台。

Redshift 的靈活性還體現在其定價模式上，該模式根據儲存的資料量和使用的計算資源，使企業能夠根據特定的需求最佳化成本。此服務支援多種資料格式，並能輕鬆與資料湖整合，讓使用者能夠查詢結構化和半結構化的資料。此外，Redshift 的先進查詢最佳化技術和欄位儲存格式提高了查詢效能，使其非常適合處理複雜的分析工作負載。

AWS Redshift 的應用場景

AWS Redshift 廣泛應用於各個行業的多種資料驅動應用。它特別適合進行商業智慧和分析任務，企業需要快速處理和分析大量資料。零售商利用 Redshift 取得客戶行為的洞察並最佳化庫存管理。在金融領域，它支援風險分析和詐騙檢測，透過處理大量的交易資料。醫療機構利用 Redshift 分析患者記錄並改善治療結果。此外，它處理即時資料的能力使其在監控和營運分析方面具有價值。

技術細節：欄位儲存與壓縮技術

-- 建立一個使用欄位儲存的範例表格
CREATE TABLE sales_columnar (
    id INT,
    product_name VARCHAR(255),
    sales_date DATE,
    amount DECIMAL(10, 2)
) DISTSTYLE KEY DISTKEY (id) SORTKEY (sales_date);

內容解密：

  1. DISTSTYLE KEY 指定了資料的分佈方式，使用 id 作為分佈鍵，能夠有效分散查詢負載。
  2. DISTKEY (id) 明確指定了 id 欄位作為分佈鍵，這有助於平行處理。
  3. SORTKEY (sales_date) 將資料依 sales_date 排序，提高根據日期的查詢效能。
  4. 這種設計結合了欄位儲存和適當的資料分佈/排序策略，最大化查詢效能。

Redshift 的關鍵元件

Redshift 的關鍵元件包括：

  1. 叢集（Cluster）：一組協同工作的節點，負責處理查詢和儲存資料。
  2. 長官節點（Leader Node）：管理客戶端連線和查詢執行計畫，將任務分配給計算節點。
  3. 計算節點（Compute Nodes）：執行查詢並進行資料儲存，平行工作以提高效能和可擴充套件性。
  4. 節點切片（Node Slices）：計算節點內的細分，允許查詢的平行處理，最佳化資源利用。
  5. Redshift Spectrum：允許查詢儲存在 Amazon S3 中的資料，與資料湖無縫整合。

Redshift 的主要功能

  1. 欄位儲存和資料壓縮：Redshift 採用欄位儲存方式，大幅減少查詢過程中的 I/O 操作。此外，先進的資料壓縮技術進一步提高了儲存效率和查詢速度。
-- 壓縮範例
CREATE TABLE sales_compressed (
    id INT,
    product_name VARCHAR(255) ENCODE ZSTD,
    sales_date DATE ENCODE DELTA,
    amount DECIMAL(10, 2) ENCODE AZ64
);

內容解密：

  1. ENCODE ZSTD 對 product_name 使用 ZSTD 壓縮演算法，適合字串資料。

  2. ENCODE DELTA 對 sales_date 使用差值編碼，適合日期或連續數值。

  3. ENCODE AZ64 對 amount 使用 AZ64 編碼，提供高效的數值壓縮。

  4. 大規模平行處理（MPP）：Redshift 的架構根據 MPP，能夠跨多個節點分佈資料和查詢執行，顯著提高處理速度。

圖表說明：Redshift 架構圖

@startuml
skinparam backgroundColor #FEFEFE
skinparam defaultTextAlignment center
skinparam rectangleBackgroundColor #F5F5F5
skinparam rectangleBorderColor #333333
skinparam arrowColor #333333

title 圖表說明：Redshift 架構圖

rectangle "查詢" as node1
rectangle "任務分配" as node2
rectangle "平行處理" as node3

node1 --> node2
node2 --> node3

@enduml

圖表翻譯： 此圖示呈現了 Redshift 的基本架構。客戶端發起查詢請求，由長官節點負責接收並分配任務給各個計算節點。計算節點進一步將任務細分為多個節點切片，平行處理以提高整體效能。

AWS Redshift 與 AWS Athena：資料倉儲與即席查詢的利器

在現代的資料驅動決策時代，企業需要高效、經濟且具擴充套件性的資料分析工具。AWS 提供了兩大強大的服務：AWS Redshift 和 AWS Athena，分別針對資料倉儲和即席查詢需求設計。本文將探討這兩項服務的優缺點、實用以及其在資料工程中的應用。

AWS Redshift：高效能的資料倉儲解決方案

AWS Redshift 是 AWS 提供的完全託管的資料倉儲服務，能夠處理 PB 級別的資料分析任務。其根據列式儲存架構，專為高效能的資料分析而設計。

AWS Redshift 的優勢

  1. 高效能查詢：Redshift 利用 MPP（Massively Parallel Processing）架構，能夠快速處理複雜查詢。
  2. 成本效益：透過使用預留執行個體（Reserved Instances），企業可以大幅降低成本。
  3. 彈性擴充套件：Redshift 允許根據需求動態調整叢集規模，以應對不同的工作負載。

AWS Redshift 的劣勢

  1. 需要仔細的 Schema 設計：為了達到最佳效能，需要精心設計資料表結構，包括分佈鍵和排序鍵的選擇。
  2. 大資料集的高成本：雖然預留執行個體可以降低成本，但管理大型資料集仍可能導致高昂的儲存和計算費用。

實用：建立與管理 Redshift 叢集

  1. 登入 AWS 管理主控台，搜尋並進入 AWS Redshift。
  2. 使用 Amazon Redshift 主控台建立叢集，指定叢集名稱、節點型別和節點數量。
  3. 組態叢集的使用方式，並設定管理員使用者名稱和密碼。
  4. 根據資料集大小和查詢速度需求，調整節點數量。
  5. 建立叢集後，在「屬性」>「資料函式庫組態」>「連線埠」中找到連線埠值。

調整 Redshift 叢集大小與組態彈性 IP

  1. 調整叢集大小：在導覽選單中選擇「叢集」，選取要調整的叢集，然後選擇「叢集」>「調整大小」。注意，調整大小可能會暫時影響叢集效能。
  2. 附加彈性 IP 地址：首先將叢集設為私有，然後設為公開，並新增彈性 IP 地址。這樣可以為叢集提供靜態 IP 地址，便於某些應用程式的存取。

AWS Athena：無伺服器的即席查詢服務

AWS Athena 是無伺服器的查詢服務，允許使用者直接在 Amazon S3 上使用標準 SQL 分析資料。Athena 根據開源的 Presto 引擎，支援多種資料格式，如 CSV、JSON、ORC、Parquet 和 Avro。

AWS Athena 的特點

  1. 無伺服器架構：無需設定或管理基礎設施，即可執行查詢。
  2. 按查詢付費：僅根據掃描的資料量收費，具有極高的成本效益。
  3. 與 AWS Glue 整合：可建立統一的中繼資料目錄，使資料易於探索和查詢。

使用案例：即席查詢與商業智慧

AWS Athena 非常適合即席查詢、資料探索和商業智慧等場景。資料科學家和分析師可以利用 Athena 快速探索資料集、測試假設並產生報告。結合視覺化工具如 Amazon QuickSight，可以建立互動式儀錶板，促進資料驅動的決策。

內容解密：

此 SQL 查詢展示瞭如何使用 AWS Athena 查詢儲存在 Amazon S3 中的資料。此範例中，我們從 my_database 資料函式庫的 my_table 資料表中選取所有欄位，並根據 year 和 region 欄位進行篩選。這種靈活的查詢能力使得 Athena 成為即席查詢和分析 S3 資料的理想工具。

玄貓 BlackCat

玄貓 BlackCat

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。