Python 資料科學環境建置與 Docker 容器化佈署

– 11 分鐘閱讀

Conda 作為 Python 套件與環境管理工具，簡化了資料科學環境的建置流程。透過 Conda，我們可以輕鬆安裝 NumPy、Matplotlib、Pandas 等核心套件，並建立獨立的虛擬環境以避免套件衝突。同時，本文也引導讀者使用 Docker 容器化技術，將 Python 應用及其所有依賴封裝成可移植的映象，確保在不同環境中都能穩定執行，提升開發效率和佈署的可靠性。最後，我們也提供了一些常用的 Linux 系統工具設定指令碼，方便讀者快速搭建開發環境。

Matplotlib

Matplotlib 是 Python 的一種標準繪相簿，提供了強大的繪圖功能，包括 2D 和 3D 繪圖、圖表等。

NumPy

NumPy 是 Python 的一種數值計算函式庫，提供了高效的數值計算功能，包括陣列運算、矩陣運算等。

Pandas

Pandas 是 Python 的一種資料管理函式庫，提供了高效的資料管理功能，包括資料清理、資料轉換、資料分析等。

PyTables

PyTables 是 Python 的一種資料儲存函式庫，提供了高效的資料儲存功能，包括 HDF5 格式的資料儲存等。

Scikit-learn

Scikit-learn 是 Python 的一種機器學習函式庫，提供了強大的機器學習功能，包括分類、迴歸、聚類等。

SciPy

SciPy 是 Python 的一種科學計算函式庫，提供了強大的科學計算功能，包括訊號處理、線性代數等。

以下是使用 IPython 和 NumPy 生成一組隨機數字的例子：

import numpy as np

np.random.seed(100)
random_numbers = np.random.rand(10)
print(random_numbers)

這個例子使用 NumPy 的 random 函式生成了一組 10 個隨機數字，並將其儲存在 random_numbers 變數中。然後，使用 print 函式將這組數字輸出到螢幕上。

內容解密：

  • import numpy as np：匯入 NumPy 函式庫，並將其命名為 np。
  • np.random.seed(100)：設定隨機數字的種子為 100，以確保生成的隨機數字相同。
  • random_numbers = np.random.rand(10)：生成一組 10 個隨機數字，並將其儲存在 random_numbers 變數中。
  • print(random_numbers)：將 random_numbers 變數的值輸出到螢幕上。

圖表翻譯：

  flowchart TD
    A[匯入 NumPy 函式庫] --> B[設定隨機數字的種子]
    B --> C[生成隨機數字]
    C --> D[輸出隨機數字]

這個圖表描述了生成隨機數字的過程，包括匯入 NumPy 函式庫、設定隨機數字的種子、生成隨機數字和輸出隨機數字。

使用 NumPy 生成隨機資料

NumPy 是一種強大的資料處理函式庫，提供了多種生成隨機資料的方法。以下是使用 NumPy 生成隨機資料的例子：

import numpy as np

# 生成 5x4 的隨機陣列
random_data = np.random.standard_normal((5, 4))
print(random_data)

這個程式碼會生成一個 5x4 的隨機陣列，資料分佈遵循標準常態分佈。

使用 Conda 管理套件

Conda 是一種套件管理工具，提供了方便的方式來管理 Python 環境和套件。以下是使用 Conda 列出已安裝套件的例子：

# 列出已安裝套件
conda list

這個命令會列出已安裝在當前 Conda 環境中的所有套件，包括套件名稱、版本和建構版本。

Conda 環境管理

Conda 提供了方便的方式來管理 Python 環境，包括建立、啟用和刪除環境。以下是使用 Conda 建立和啟用環境的例子：

# 建立新的 Conda 環境
conda create --name myenv python=3.8

# 啟用環境
conda activate myenv

這個程式碼會建立一個新的 Conda 環境，名稱為 myenv，並安裝 Python 3.8。然後，啟用這個環境，以便使用它。

圖表翻譯：

  graph LR
    A[建立環境] --> B[安裝套件]
    B --> C[啟用環境]
    C --> D[使用環境]

這個圖表展示了使用 Conda 管理環境的流程，包括建立環境、安裝套件、啟用環境和使用環境。

內容解密：

上述程式碼和命令展示瞭如何使用 NumPy 生成隨機資料和使用 Conda 管理套件和環境。NumPy 提供了多種生成隨機資料的方法，包括 standard_normal 函式，該函式生成標準常態分佈的隨機資料。Conda 提供了方便的方式來管理 Python 環境和套件，包括建立、啟用和刪除環境。

使用Conda進行套件管理和虛擬環境管理

Conda是一個強大的套件管理器和虛擬環境管理工具，讓您可以輕鬆地安裝、更新和移除Python套件。以下是使用Conda進行套件管理和虛擬環境管理的步驟：

套件管理

Conda允許您輕鬆地安裝、更新和移除Python套件。例如，要移除matplotlib套件，您可以使用以下命令：

conda remove matplotlib

Conda會自動移除matplotlib套件及其依賴套件。

虛擬環境管理

Conda的虛擬環境管理功能允許您建立多個獨立的Python環境，每個環境都有自己的套件和依賴關係。要建立一個新的虛擬環境，您可以使用以下命令：

conda create --name $ENVIRONMENT_NAME

這會建立一個新的虛擬環境，名稱為$ENVIRONMENT_NAME。

虛擬環境的優點

使用Conda的虛擬環境管理功能有以下優點：

  • 可以建立多個獨立的Python環境，每個環境都有自己的套件和依賴關係。
  • 可以輕鬆地在不同的Python版本之間切換。
  • 可以避免套件之間的依賴關係衝突。

虛擬環境的使用

要使用虛擬環境，您需要先啟用它。啟用虛擬環境後，您就可以安裝、更新和移除套件了。以下是啟用虛擬環境的步驟：

  1. 建立一個新的虛擬環境：conda create --name myenv
  2. 啟用虛擬環境：conda activate myenv
  3. 安裝套件：conda install numpy
  4. 移除套件：conda remove numpy
  5. 離開虛擬環境：conda deactivate

建立和管理Conda環境

Conda是一個強大的環境管理工具，允許您建立和管理多個獨立的Python環境。以下是建立和管理Conda環境的步驟：

啟動環境

要啟動一個Conda環境，可以使用以下命令：

conda activate $ENVIRONMENT_NAME

將 $ENVIRONMENT_NAME 替換為您要啟動的環境名稱。

關閉環境

要關閉一個Conda環境，可以使用以下命令：

conda deactivate $ENVIRONMENT_NAME

將 $ENVIRONMENT_NAME 替換為您要關閉的環境名稱。

刪除環境

要刪除一個Conda環境，可以使用以下命令：

conda env remove --name $ENVIRONMENT_NAME

將 $ENVIRONMENT_NAME 替換為您要刪除的環境名稱。

匯出環境到檔案

要將一個Conda環境匯出到一個檔案，可以使用以下命令：

conda env export > $FILE_NAME

將 $FILE_NAME 替換為您要匯出的檔名稱。

從檔案建立環境

要從一個檔案建立一個Conda環境，可以使用以下命令：

conda env create -f $FILE_NAME

將 $FILE_NAME 替換為您要匯入的檔名稱。

列出所有環境

要列出所有可用的Conda環境，可以使用以下命令：

conda info --envs

範例：建立一個Python 2.7環境

以下是建立一個Python 2.7環境的範例：

conda create --name py27 python=2.7

這個命令將建立一個名為 py27 的環境，並安裝Python 2.7。

內容解密：

在這個範例中，我們使用 conda create 命令建立一個新的環境，並指定了環境的名稱 (py27) 和Python版本 (python=2.7)。Conda將會自動解析環境的依賴關係，並安裝所需的套件。

圖表翻譯：

以下是Conda環境管理流程的Mermaid圖表：

  flowchart TD
    A[建立環境] --> B[啟動環境]
    B --> C[安裝套件]
    C --> D[關閉環境]
    D --> E[刪除環境]
    E --> F[匯出環境]
    F --> G[從檔案建立環境]

這個圖表展示了Conda環境管理的主要流程，包括建立、啟動、安裝套件、關閉、刪除、匯出和從檔案建立環境。

建立Python 2.7環境

為了確保專案的相容性和穩定性，建立一個特定的Python環境是非常重要的。以下是建立Python 2.7環境的步驟：

步驟1：安裝必要的包

首先，需要安裝必要的包，包括certifi、pip、python、setuptools和wheel。這些包是Python 2.7環境的基礎。

# 安裝必要的包
conda install -c conda-forge python=2.7

步驟2：建立環境

建立一個名為py27的環境，指定Python版本為2.7。

# 建立環境
conda create --name py27 python=2.7

步驟3：啟用環境

啟用py27環境，以便使用Python 2.7。

# 啟用環境
conda activate py27

步驟4：驗證環境

驗證是否成功激活了py27環境，並且Python版本為2.7。

# 驗證環境
python --version

結果

建立和啟用Python 2.7環境後，系統會顯示以下資訊：

Python 2.7.18

這表示Python 2.7環境已經成功建立和啟用。

內容解密：

建立Python 2.7環境的過程涉及到安裝必要的包、建立環境、啟用環境和驗證環境。這些步驟確保了專案的相容性和穩定性。透過使用conda工具，可以輕鬆地管理不同的Python環境和包。

圖表翻譯：

  graph LR
    A[安裝必要的包] --> B[建立環境]
    B --> C[啟用環境]
    C --> D[驗證環境]
    D --> E[顯示Python版本]

這個流程圖顯示了建立Python 2.7環境的步驟，從安裝必要的包到驗證環境。

虛擬環境管理：Conda 的應用

在進行 Python 開發時，管理不同的 Python 版本和套件依賴是一個常見的挑戰。Conda 是一個強大的虛擬環境管理工具，能夠幫助您輕鬆地管理不同的 Python 版本和套件依賴。

建立虛擬環境

要建立一個新的虛擬環境，可以使用 conda create 命令。例如，要建立一個名為 py27 的虛擬環境，使用 Python 2.7 版本，可以使用以下命令：

conda create --name py27 python=2.7

這將建立一個新的虛擬環境，名為 py27，並安裝 Python 2.7 版本。

啟動虛擬環境

要啟動虛擬環境，可以使用 conda activate 命令。例如，要啟動 py27 虛擬環境，可以使用以下命令：

conda activate py27

這將啟動 py27 虛擬環境，並將命令列提示符號改為 (py27)。

安裝套件

要在虛擬環境中安裝套件，可以使用 pip 命令。例如，要在 py27 虛擬環境中安裝 ipython 套件，可以使用以下命令：

pip install ipython

這將安裝 ipython 套件在 py27 虛擬環境中。

列出虛擬環境

要列出所有可用的虛擬環境，可以使用 conda env list 命令。例如：

conda env list

這將列出所有可用的虛擬環境，包括其名稱和路徑。

匯出虛擬環境

要匯出虛擬環境，可以使用 conda env export 命令。例如，要匯出 base 虛擬環境，可以使用以下命令：

conda env export --no-builds > base.yml

這將匯出 base 虛擬環境的套件依賴到 base.yml 檔案中。

內容解密：
  • conda create 命令用於建立新的虛擬環境。
  • conda activate 命令用於啟動虛擬環境。
  • pip 命令用於安裝套件在虛擬環境中。
  • conda env list 命令用於列出所有可用的虛擬環境。
  • conda env export 命令用於匯出虛擬環境的套件依賴。

圖表翻譯：

  graph LR
    A[建立虛擬環境] --> B[啟動虛擬環境]
    B --> C[安裝套件]
    C --> D[列出虛擬環境]
    D --> E[匯出虛擬環境]

這個圖表展示了 Conda 的虛擬環境管理流程。

使用 Docker 容器進行 Python 佈署

Docker 容器技術已經成為軟體開發和佈署的重要工具。它允許我們建立一個獨立的檔案系統，包含作業系統、Python 執行環境、系統工具和其他所需的函式庫和套件。

Docker 映象和容器

在 Docker 中，映象（Image）和容器（Container）是兩個重要的概念。映象可以被視為一個 Python 類別，而容器則是這個類別的例項。

  • 映象（Image）：是一個有序的檔案系統變化和執行引數的集合。它通常包含多個層的檔案系統，堆積疊在一起。映象不具有狀態，且永遠不會改變。
  • 容器（Container）：是一個 Docker 映象的執行例項。它包含一個 Docker 映象、執行環境和一組標準的指令。

建立 Ubuntu 和 Python Docker 映象

要建立一個包含 Ubuntu 和 Python 的 Docker 映象，我們需要建立兩個指令碼：一個 Bash 指令碼和一個 Dockerfile。

Bash 指令碼會在 Linux 層級進行安裝和設定，而 Dockerfile 則控制映象的建立過程。

以下是 Bash 指令碼的例子：

#!/bin/bash

# 安裝 Miniconda 和 Python
apt-get update
apt-get install -y wget
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3

# 安裝其他系統工具
apt-get install -y git

Dockerfile 則控制映象的建立過程：

FROM ubuntu:latest

# 執行 Bash 指令碼
COPY install.sh /install.sh
RUN bash /install.sh

# 設定工作目錄
WORKDIR /app

# 安裝 Python 套件
RUN pip install -r requirements.txt

建立 Docker 容器

要建立 Docker 容器，我們需要使用 docker build 命令建立映象，然後使用 docker run 命令執行容器。

docker build -t my-python-image .
docker run -it my-python-image

這樣就可以建立一個包含 Ubuntu 和 Python 的 Docker 容器，並執行 Python 指令碼或應用程式。

自動化指令碼：Linux 系統工具和 Python 環境設定

以下是用於設定 Linux 系統工具和 Python 環境的自動化指令碼。這個指令碼分為三個主要部分：Linux 系統工具的安裝和設定、Mini-conda 的安裝，以及選擇性的 Python 套件安裝。

Linux 系統工具安裝

首先，指令碼更新 Linux 系統的套件索引快取，並升級所有可用的套件。接著，安裝必要的系統工具，包括 bzip2、gcc、git、htop、screen、vim 和 wget。最後，升級 bash 如果需要，並清除套件索引快取。

# 更新套件索引快取
apt-get update

# 升級所有可用的套件
apt-get upgrade -y

# 安裝系統工具
apt-get install -y bzip2 gcc git
apt-get install -y htop screen vim wget

# 升級 bash 如果需要
apt-get upgrade -y bash

# 清除套件索引快取
apt-get clean

Mini-conda 安裝

接下來，指令碼下載 Mini-conda 安裝程式並安裝它。安裝完成後，移除安裝程式並更新系統路徑以包含 Mini-conda 的二進位檔。

# 下載 Mini-conda 安裝程式
# (假設已經下載並命名為 Miniconda.sh)

# 安裝 Mini-conda
bash Miniconda.sh -b

# 移除安裝程式
rm -rf Miniconda.sh

# 更新系統路徑
export PATH="/root/miniconda3/bin:$PATH"

選擇性的 Python 套件安裝

雖然在這個指令碼中沒有明確的選擇性 Python 套件安裝步驟，但您可以在這裡新增安裝其他 Python 套件的命令，例如使用 conda 或 pip。

# 使用 conda 安裝 Python 套件
conda install -c conda-forge numpy pandas

# 使用 pip 安裝 Python 套件
pip install numpy pandas

結合指令碼

以下是完整的指令碼，結合了以上所有步驟：

#!/bin/bash

# 更新套件索引快取
apt-get update

# 升級所有可用的套件
apt-get upgrade -y

# 安裝系統工具
apt-get install -y bzip2 gcc git
apt-get install -y htop screen vim wget

# 升級 bash 如果需要
apt-get upgrade -y bash

# 清除套件索引快取
apt-get clean

# 下載 Mini-conda 安裝程式
# (假設已經下載並命名為 Miniconda.sh)

# 安裝 Mini-conda
bash Miniconda.sh -b

# 移除安裝程式
rm -rf Miniconda.sh

# 更新系統路徑
export PATH="/root/miniconda3/bin:$PATH"

# 安裝其他 Python 套件（選擇性）
# conda install -c conda-forge numpy pandas
# pip install numpy pandas

這個指令碼提供了一個基本的 Linux 系統工具和 Python 環境設定的框架。您可以根據自己的需求新增或修改指令碼中的命令。

使用Docker建立Python環境

在進行演算法交易的開發時，建立一個穩定且可重複的環境是非常重要的。Docker是一種容器化技術，允許我們封裝應用程式及其依賴項，從而實作跨不同環境的可移植性和一致性。

Docker 已成為佈署 Python 應用程式，尤其是像演算法交易這類對環境穩定性要求極高的應用，不可或缺的工具。透過容器技術，開發者可以將應用程式及其所有依賴項封裝成一個獨立的單元，確保在不同環境中具有一致的行為。分析 Docker 的核心價值，其映象和容器的概念有效地分離了應用程式的建構和執行階段，提升了佈署效率並降低了環境差異帶來的風險。然而，Docker 的學習曲線和容器的資源管理仍是需要技術團隊關注的挑戰。對於演算法交易這類對效能敏感的應用，更需仔細評估容器化對系統資源的影響。展望未來，隨著 Docker 生態系統的持續發展，預計會有更多針對效能最佳化和資源管理的工具出現，進一步降低 Docker 的使用門檻。玄貓認為，掌握 Docker 技術對於提升 Python 應用程式的佈署效率和穩定性至關重要，特別是在演算法交易等對環境一致性要求極高的領域。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。