Apache Hive 資料倉儲的 Docker 部署與連線實務

– 11 分鐘閱讀

在當代數據驅動的商業環境中，有效管理與查詢巨量資料集是企業獲取洞察的關鍵。Apache Hive 作為建構於 Hadoop 生態系之上的資料倉儲框架，透過其類 SQL 的查詢語言 HiveQL，大幅降低了數據分析的技術門檻，讓熟悉關聯式資料庫的分析師與開發者能無縫接軌大數據處理。本篇文章將聚焦於如何利用 Docker 容器化技術，快速部署一個包含 Hadoop 與 Hive 的整合開發環境。此方法不僅簡化了傳統繁瑣的叢集設定流程，更提供了一個隔離且可重複的實作場域，讓我們得以專注於 Hive 的核心架構、資料模型（如受管表格與外部表格）以及與底層 HDFS 的互動機制，從而深入理解其在現代數據架構中的應用價值。

驗證 MapReduce 輸出並探索 CDH Docker 環境

本節將聚焦於驗證 MapReduce Word Count 作業的最終輸出，並介紹如何使用 Cloudera Distribution for Hadoop (CDH) 的 Docker 映像檔，為後續的 Hadoop 生態系統探索奠定基礎。

驗證 Word Count 輸出結果

在 MapReduce 作業成功完成後，其輸出結果會儲存在 HDFS 的指定目錄中。

  1. 列出輸出目錄內容： 使用 bin/hdfs dfs -ls /output 命令，我們可以查看 /output 目錄下的文件。通常會看到兩個文件：

    • _SUCCESS：這是一個標記文件，表明 MapReduce 作業已成功執行完成，沒有發生任何未處理的錯誤。
    • part-r-00000：這是 Word Count 應用程序的實際輸出文件。part-r- 前綴表示這是 Reduce 任務的輸出，00000 是 Reduce 任務的索引（如果有多個 Reduce 任務，則會有 part-r-00001 等）。

  2. 查看輸出文件內容： 使用 hdfs dfs -cat /output/part-r-00000 命令，可以將 part-r-00000 文件的內容顯示在終端上。這將會列出輸入文件中所有獨特單詞及其對應的出現次數。例如，對於我們之前創建的 input1.txt 和 input2.txt，輸出結果會類似於：

    hello 3
world 3
apache 3
hadoop 3
application 1
and 1

    （具體計數取決於輸入文本的精確內容和大小寫處理。）

停止 Hadoop Docker 容器

當我們完成 Hadoop 的實驗操作後，可以停止正在運行的 Docker 容器以釋放系統資源。

  1. 停止容器： 使用 sudo docker stop hadoop 命令，可以停止名為 hadoop 的 Docker 容器。

  2. 驗證容器狀態： 執行 docker ps 命令，該命令會列出所有正在運行的 Docker 容器。如果 Hadoop 容器已成功停止，則在列表中將不再看到 hadoop 容器。

使用 Cloudera Hadoop Distribution (CDH) Docker 映像檔

為了探索更廣泛的 Hadoop 生態系統，我們將介紹如何使用基於 Cloudera Hadoop Distribution (CDH) 的 Docker 映像檔。CDH 是一個整合了多種 Hadoop 生態系統組件的發行版，為後續章節的學習提供了更豐富的環境。

  1. 下載 CDH Docker 映像檔： 使用 sudo docker pull svds/cdh 命令，從 Docker Hub 下載名為 svds/cdh 的映像檔。這個映像檔包含了 Apache Hadoop 以及其他相關框架。

  2. 啟動 CDH Docker 容器： 使用 sudo docker run -d --name cdh svds/cdh 命令，啟動一個名為 cdh 的 CDH Docker 容器，並讓它在後台運行（-d）。

  3. 進入 CDH 容器交互式終端： 使用 sudo docker exec -it cdh bash 命令，進入正在運行的 cdh 容器的 Bash 終端。這樣我們就可以在容器內部執行 Hadoop 命令。

  4. HDFS 命令使用： 在 CDH 容器的終端中，可以直接使用 hdfs 命令來執行 HDFS 操作，無需額外的配置。輸入 hdfs 並按 Enter，將會顯示 HDFS 命令的用法說明。

  5. 查看 Hadoop 配置目錄： Hadoop 的配置文件通常位於 /etc/hadoop/conf 或類似的路徑。在 CDH 容器中，這個路徑可能是一個符號鏈接（symlink），指向實際的配置文件目錄，例如 /etc/alternatives/hadoop-conf。通過 ls 命令可以查看這些配置文件，了解 Hadoop 的配置細節。

  6. 停止 CDH Docker 容器： 完成 CDH 環境的探索後，可以使用 sudo docker stop cdh 命令停止該容器。

看圖說話：

此圖示總結了本節的關鍵操作與概念。首先，它清晰地展示了如何驗證 MapReduce Word Count 作業的最終輸出，包括列出 HDFS /output 目錄下的 _SUCCESS 和 part-r-00000 文件，以及如何讀取 part-r-00000 文件以查看具體的單詞計數結果。接著，圖示描繪了如何通過 Docker 命令來管理 Hadoop 容器，包括停止正在運行的 Hadoop 容器並驗證其狀態。最重要的是，圖示詳細介紹了如何導入和使用基於 Cloudera Distribution for Hadoop (CDH) 的 Docker 映像檔，包括下載映像檔、啟動 CDH 容器、進入容器執行 HDFS 命令以及查看 Hadoop 的配置目錄，為後續更深入的 Hadoop 生態系統學習奠定了基礎。

導入 Apache Hive：資料倉儲框架與環境設定

本章節將引導您認識 Apache Hive，一個用於處理大數據的資料倉儲框架，並著重於其核心概念、架構以及在 Docker 環境中進行初步設定的步驟。

Apache Hive 核心概念與架構

Apache Hive 提供了一個結構化的方式來管理和查詢儲存在 Hadoop 分散式檔案系統 (HDFS) 上的龐大數據集。其主要組成部分和概念包括：

  • 資料倉儲框架 (Data Warehouse Framework)：Hive 並非傳統的資料庫，而是一個建立在 Hadoop 之上的資料倉儲解決方案。它允許使用者以類似 SQL 的方式來分析和處理儲存在 HDFS 上的結構化或半結構化數據。
  • HiveQL (Hive Query Language)：這是 Hive 使用的查詢語言，其語法與標準 SQL 非常相似，使得熟悉 SQL 的使用者能夠快速上手。HiveQL 查詢最終會被翻譯成 MapReduce、Tez 或 Spark 作業，在 Hadoop 集群上執行。
  • 元數據儲存 (Metastore)：Hive 使用一個元數據儲存庫（Metastore）來保存關於 Hive 表的結構信息，例如表名、欄位名稱、欄位類型、數據儲存位置等。這個元數據庫可以是一個獨立的關係型資料庫（如 MySQL、PostgreSQL），也可以是嵌入式的 Derby 資料庫。
  • 表格類型：Hive 支援兩種主要的表格類型：
    • 受管表格 (Managed Tables)：當您創建一個受管表格時，Hive 會完全管理該表格的數據和元數據。刪除受管表格時，不僅元數據會被移除，儲存在 HDFS 上的實際數據也會被刪除。
    • 外部表格 (External Tables)：對於外部表格，Hive 只管理其元數據。當刪除外部表格時，只有元數據會被移除，而儲存在 HDFS 上的原始數據將會保留。這使得外部表格非常適合用於管理已經存在於 HDFS 上的數據集，而無需將數據複製到 Hive 的管理目錄。
  • 預設模式：在初次設定時，Hive 的元數據儲存庫預設採用嵌入式 Derby 資料庫模式。這種模式適合於單機測試和開發環境，但對於生產環境，通常建議使用獨立的遠端資料庫以獲得更好的穩定性和擴展性。

環境準備與設定

要在 Docker 環境中運行 Apache Hive，需要進行以下準備工作：

  • Docker 安裝：確保您的系統已安裝 Docker。本章節使用的版本為 Docker 1.8，但較新版本通常也兼容。
  • Apache Hive Docker 映像檔：需要一個預先建置好的 Apache Hive Docker 映像檔。這個映像檔通常包含了 Hive 服務、必要的依賴以及預設的配置。
  • SSH 連接：如果是在雲端環境（如 Amazon EC2 實例）中進行操作，需要使用 SSH 客戶端連接到遠端伺服器。例如，使用 ssh -i "docker.pem" ec2-user@52.23.241.186 命令，其中 docker.pem 是您的 SSH 私鑰，ec2-user 是用戶名，52.23.241.186 是伺服器的 IP 地址。
  • 啟動 Docker 服務：在遠端伺服器上，需要確保 Docker 服務正在運行。通常可以使用 sudo systemctl start docker 或類似命令來啟動 Docker 服務，並通過 sudo systemctl status docker 來驗證其狀態。

啟動 Apache Hive

一旦環境準備就緒，就可以開始啟動 Apache Hive 服務。這通常涉及啟動一個包含 Hive 的 Docker 容器。具體的啟動命令會因使用的 Docker 映像檔而異，但一般會包含指定容器名稱、映像檔名稱以及後台運行等選項。

連接至 Hive CLI 和 HiveServer2

啟動 Hive 服務後，有兩種主要方式可以與之互動：

  1. Beeline CLI Shell：Beeline 是 Hive 提供的一個命令行客戶端工具，用於連接到 HiveServer2 並執行 HiveQL 查詢。它提供了一個交互式的環境，可以方便地執行 SQL 語句。
  2. HiveServer2：HiveServer2 是 Hive 的一個 RPC 服務，它允許遠程客戶端（如 Beeline 或其他 JDBC/ODBC 客戶端）連接到 Hive 並執行查詢。

本章節將引導您如何通過這些方式連接到 Hive 環境，為後續的數據操作和查詢奠定基礎。

@startuml
!define DISABLE_LINK
!define PLANTUML_FORMAT svg
!theme _none_

skinparam dpi auto
skinparam shadowing false
skinparam linetype ortho
skinparam roundcorner 5
skinparam defaultFontName "Microsoft JhengHei UI"
skinparam defaultFontSize 16
skinparam minClassWidth 100

object "使用者" as User
object "Docker Daemon" as DockerDaemon
object "Hive Docker Image" as HiveImage
object "Hive Container" as HiveContainer
object "HiveServer2" as HiveServer2
object "Metastore Database (Derby)" as MetastoreDB
object "HDFS" as HDFS
object "HiveQL Client (Beeline)" as BeelineCLI
object "Configuration" as Config

partition "環境設定與啟動" {
  User --> DockerDaemon : 執行 Docker 命令 (安裝, 啟動服務)
  DockerDaemon --> HiveImage : 下載 Hive Docker 映像檔
  DockerDaemon --> HiveContainer : 啟動 Hive 容器
  HiveContainer --> MetastoreDB : 初始化或連接 Metastore (Derby)
  HiveContainer --> HDFS : 存儲 Hive 表數據
  HiveContainer --> HiveServer2 : 啟動 Hive 服務
  HiveContainer --> Config : 加載配置
}

partition "連接與互動" {
  User --> BeelineCLI : 執行 Beeline 連接命令
  BeelineCLI --> HiveServer2 : 建立連接 (JDBC/Thrift)
  User --> BeelineCLI : 輸入 HiveQL 查詢
  BeelineCLI --> HiveServer2 : 發送查詢請求
  HiveServer2 --> MetastoreDB : 查詢元數據
  HiveServer2 --> HDFS : 讀取/寫入數據
  HiveServer2 --> BeelineCLI : 返回查詢結果
}

partition "核心概念" {
  HiveContainer --> MetastoreDB : 管理元數據
  MetastoreDB --> HiveContainer : 提供表格結構信息
  HiveContainer --> HDFS : 管理受管表格數據
  HiveContainer --> HDFS : 引用外部表格數據
  HiveContainer --> User : 提供 HiveQL 介面
}

@enduml

看圖說話：

此圖示概括了 Apache Hive 的基本架構與在本章節中將要進行的環境設定與互動流程。圖的頂部展示了使用者與 Docker 環境的互動，包括下載 Hive Docker 映像檔、啟動 Hive 容器，以及通過 Beeline CLI 連接到 HiveServer2。圖的中間部分描繪了 Hive 的核心組件：Hive Server2 作為服務入口，與 Metastore Database（預設為 Derby）協同工作以管理表格的元數據，並通過 HDFS 實際儲存和讀取數據。圖的底部則強調了 Hive 的兩種表格類型：受管表格（Hive 完全管理數據）和外部表格（Hive 只管理元數據，數據保留在 HDFS）。整體而言，該圖示為理解 Hive 如何作為一個資料倉儲框架，以及如何在其上進行數據查詢和管理的入門概念提供了清晰的視覺化指引。

部署與連接 Apache Hive：從 Docker 到 Beeline CLI

本節將詳細闡述如何在 Docker 環境中部署 Apache Hive，並透過 Beeline CLI 客戶端連接到 HiveServer2，為後續的數據操作和查詢做好準備。

環境設定與容器啟動

  1. 啟動 Docker 服務： 首先，確保 Docker 服務在您的系統上運行。這通常通過以下命令完成：

    sudo service docker start
sudo service docker status

    這些命令會啟動 Docker 精靈程序，並檢查其運行狀態。

  2. 獲取 CDH Docker 映像檔： 我們將使用一個包含多種 Hadoop 生態系統組件的 Docker 映像檔，例如 svds/cdh。這個映像檔也適用於 Apache HBase、Apache Sqoop 和 Apache Spark 等其他組件。使用以下命令下載該映像檔：

    sudo docker pull svds/cdh

  3. 啟動 CDH 容器： 為了運行 Apache Hive，我們需要啟動一個包含 CDH 組件的 Docker 容器。使用以下命令創建並啟動一個名為 cdh 的容器，並讓它在後台（detached mode, -d）運行：

    sudo docker run -d --name cdh svds/cdh

    啟動後，可以通過 sudo docker ps 命令確認 cdh 容器正在運行。

  4. 進入容器互動式終端： 要執行 Hive 命令，我們需要進入容器的終端環境。使用以下命令啟動一個交互式 Bash 會話：

    sudo docker exec -it cdh bash

    現在，您可以在這個容器內的終端中執行 Hadoop 和 Hive 的相關命令。

連接至 HiveServer2

在容器內部，我們將配置並連接到 Hive。

  1. 修改 HDFS 權限： Hive 在 HDFS 中有一個用於儲存表格數據的目錄，預設為 /user/hive/warehouse。為了確保 Hive 能夠讀寫此目錄下的數據，我們需要修改其權限。在容器的互動式終端中執行以下命令，為該目錄設定全局讀寫執行權限（777）：

    hdfs dfs –chmod –R 777 /user/hive/warehouse

    此命令將遞歸地（-R）為 /user/hive/warehouse 目錄及其所有內容設置權限。

  2. 啟動 Beeline CLI： Beeline 是 Hive 推薦的命令行客戶端，用於連接到 HiveServer2。雖然舊版的 Hive CLI 仍然可用，但已被棄用。

    • （可選）啟動 Hive CLI：在容器內執行 hive 命令，可以啟動舊版的 Hive CLI。但會收到提示建議遷移到 Beeline。
    • 啟動 Beeline CLI：在容器內執行 beeline 命令，啟動 Beeline 客戶端。您會看到 Beeline 的版本信息，例如 Beeline version 1.1.0 CDH 5.4.3。

  3. 連接到 HiveServer2： Beeline CLI 啟動後，您還需要明確連接到 HiveServer2 才能執行查詢。

    • 嘗試執行命令：在連接前，嘗試執行 use default; 或 show tables; 會收到 “No current connection” 的錯誤提示。

    • 使用 !connect 命令：要連接到 HiveServer2，請使用 !connect 命令。其基本語法是：

      !connect jdbc:hive2://<host>:<port>/dbName <username> <password> <jdbc_driver>

      其中：

      • jdbc:hive2://<host>:<port>/dbName 是 HiveServer2 的 JDBC 連接 URL。對於嵌入式模式（Beeline 在同一機器上運行），通常是 jdbc:hive2://localhost:10000/default。
      • <username> 和 <password> 是連接用戶名和密碼，對於預設情況，可以留空。
      • <jdbc_driver> 是 Hive JDBC 驅動，預設為 org.apache.hive.jdbc.HiveDriver。

    • 執行連接命令：在我們的場景中，執行以下命令來連接到 HiveServer2：

      !connect jdbc:hive2://localhost:10000/default "" "" ""

      成功連接後，您將看到類似於 “Apache Hive 1.1.0 version is the renamed Hive 0.15.0 version” 的提示。

  4. 重新執行命令： 成功連接到 HiveServer2 後，之前無法執行的命令現在可以正常工作了。再次執行：

    use default
show tables

    這次將會成功切換到 default 資料庫，並列出其中存在的表格（如果有的話）。

看圖說話：

此圖示詳細描繪了在 Docker 環境中部署和連接 Apache Hive 的完整流程。首先，它展示了準備 Docker 環境的步驟，包括啟動 Docker 服務、下載 svds/cdh 映像檔，以及啟動並進入名為 cdh 的容器。接著，圖示聚焦於 Hive 的內部配置，特別是強調了在容器內執行 hdfs dfs –chmod –R 777 /user/hive/warehouse 命令來設定 HDFS 數據目錄的權限，這對 Hive 的正常運行至關重要。隨後，圖示展示了如何啟動 Beeline CLI 客戶端，並通過 !connect 命令建立與 HiveServer2 的連接，包括指定 JDBC URL、用戶名、密碼和驅動程式。最後，圖示描繪了連接成功後，Beeline CLI 如何與 HiveServer2 互動，執行 use default 和 show tables 等命令，並從 Metastore DB 獲取元數據以顯示表格列表。整體而言，該圖示清晰地呈現了從環境準備到成功連接並執行基本查詢的端到端流程。

解構此一從環境建置到成功連線的完整路徑可以發現，這不僅是技術步驟的演練，更是工程師思維模式的關鍵轉譯。相較於傳統實體叢集的繁複部署，以 Docker 容器化 CDH 環境，大幅降低了踏入大數據生態系的門檻。然而，過程中對 HDFS 目錄權限的調整，以及 Beeline 的兩階段連線模式，恰恰是初學者最易忽略、卻又至關重要的瓶頸，這反映了從單機應用轉向分散式系統協作思維的根本挑戰。此標準化流程為技術專家提供了一個低風險、高效率的「數位道場」，使其能在隔離環境中，將資料倉儲的抽象概念轉化為具體手感。

展望未來，熟悉此基礎部署後，下一步的發展關鍵將在於整合。當 Hive 作為資料查詢引擎的角色確立後，如何與 Spark 的記憶體計算、或 Sqoop 的資料遷移工具進行協同作戰，將是定義一位數據工程師能力深度的下一個里程碑。

玄貓認為，精準掌握此 Docker 化部署與連線流程，不僅是完成一項技術任務，更是為踏入整個 Hadoop 生態系、建立系統性數據處理視野，所奠定的最穩固基石。

玄貓 BlackCat

玄貓 BlackCat

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。