Bash 與 GitHub Actions 自動化技術

– 14 分鐘閱讀

在現今軟體開發流程中，自動化扮演著至關重要的角色。本文將探討 Bash 指令與 GitHub Actions 兩大自動化工具，從基礎的檔案操作到 CI/CD 流程建置，提供實用的技巧和範例。Bash 指令是與系統互動的基礎，而 GitHub Actions 則能將這些指令整合到工作流程中，實作自動化建置、測試和佈署。透過結合兩者的優勢，開發者可以大幅提升效率，並確保軟體品質。文章中將提供多個 Bash 指令的實用案例，例如檔案排序、行數計算、目錄操作、輸出重導向、程式搜尋、檔案壓縮以及許可權管理等。此外，也將介紹如何利用 GitHub Actions 建立 Hugo 靜態網站、Maven Java 專案以及 Docker 化應用程式的工作流程，並搭配 YAML 檔案範例說明，讓讀者能夠快速上手。

Bash 指令的深入

在終端機中輸入指令來與你的電腦系統互動，這些指令被稱為 Bash 指令。它們能夠讓你執行各種任務，例如在檔案之間移動、監控電腦的運作狀況以及操作檔案。然而，對於初次接觸 Unix/Linux 的使用者來說，掌握 Bash 指令可能會有些困難。有些指令的寫法可能會顯得晦澀難懂，初學者需要花費一定的時間和練習來真正掌握它們。此外，有許多指令，每個指令都有它自己的選項和變體。雖然網路上有許多資源可以幫助你，但即使是專家也可能會忘記不常用或剛學會的指令。

然而，你可以使用 ChatGPT 作為你的虛擬助手來處理 Bash 指令。以下是一些範例提示：

列出目錄中所有檔案並按修改時間排序

想要使用 Bash 指令列出目錄中所有檔案並按修改時間排序，可以使用以下指令：

ls -lt

內容解密：

這個指令 ls -lt 的作用是列出當前目錄中的所有檔案和子目錄，並按照修改時間進行排序。選項 -l 表示以長格式顯示檔案詳細資訊，而 -t 表示按照修改時間排序。

計算檔案中的行數

想要計算檔案中的行數，可以使用以下指令：

wc -l filename

內容解密：

這個指令 wc -l filename 的作用是計算檔案 filename 中的行數。選項 -l 表示僅計算行數。

建立並進入目錄

想要建立一個新目錄並立即進入該目錄，可以使用以下指令：

mkdir new_directory && cd new_directory

內容解密：

這個指令 mkdir new_directory && cd new_directory 的作用是先建立一個名為 new_directory 的新目錄，然後立即進入該目錄。符號 && 用來連線兩個命令，表示只有在第一個命令成功執行後才會執行第二個命令。

重導向命令輸出到檔案

想要將命令的輸出重導向到一個檔案中，可以使用以下指令：

command > output.txt

內容解密：

這個指令 command > output.txt 的作用是將 command 的輸出重導向到 output.txt 檔案中。符號 > 用來表示重導向輸出。

搜尋特定程式

想要搜尋系統上正在執行的特定程式，可以使用以下指令：

ps aux | grep process_name

內容解密：

這個指令 ps aux | grep process_name 的作用是列出系統上所有正在執行的程式（ps aux），然後使用 grep 命令搜尋包含 process_name 的程式。

壓縮目錄成 ZIP 檔案

想要將一個目錄壓縮成 ZIP 檔案，可以使用以下指令：

zip -r archive_name.zip directory_name

內容解密：

這個指令 zip -r archive_name.zip directory_name 的作用是將 directory_name 目錄壓縮成一個名為 archive_name.zip 的 ZIP 檔案。選項 -r 表示遞迴地壓縮目錄及其所有子目錄。

改變檔案許可權

想要改變檔案的許可權，可以使用以下指令：

chmod permissions filename

內容解密：

這個指令 chmod permissions filename 的作用是改變 filename 檔案的許可權。選項 permissions 是一組數字或符號，用來表示欲設定的許可權。

GitHub Actions 的自動化工作流程

GitHub Actions 是一個內建於 GitHub 的持續整合與持續佈署（CI/CD）工具，讓開發者能夠在他們的倉函式庫中設定、自訂並執行軟體開發工作流程。基本上，GitHub Actions 工作流程是由一組自動化流程組成的一個工作流程檔案所定義的。這些流程由工作組成，每個工作負責不同的任務，如執行命令和設定流程等。它們是以 YAML 語法編寫的，並在某些事件發生時啟動，例如推播程式碼、建立新問題或安排時間等。透過 GitHub Actions，開發者可以直接從 GitHub構建、測試和佈署他們的程式碼，使軟體開發流程更加順暢和自動化。你可以分享、重用或調整其他開發者的操作專案，這對於團隊合作和分享自動化軟體開發知識非常有幫助。

ChatGPT 可以幫助你建立 GitHub Actions 工作流程範本。以下是一些範例提示：

Hugo靜態網站範本工作流程

建立一個 GitHub Actions 工作流程範本以構建並佈署使用 Hugo 建立的靜態網站到 GitHub Pages。

name: Deploy Hugo Site to GitHub Pages

on:
  push:
    branches:
      - main

jobs:
  build:
    runs-on: ubuntu-latest

    steps:
    - name: Checkout repository
      uses: actions/checkout@v2

    - name: Set up Hugo
      uses: peaceiris/actions-hugo@v2
      with:
        hugo-version: 'latest'

    - name: Build site
      run: hugo --minify

    - name: Deploy to GitHub Pages
      uses: peaceiris/actions-gh-pages@v3
      with:
        github_token: ${{ secrets.GITHUB_TOKEN }}
        publish_dir: ./public

內容解密：

這個 YAML 檔案定義了一個 GitHub Actions 工作流程範本。當推播到主分支時觸發此工作流程。首先檢查倉函式庫程式碼並設定 Hugo環境；然後構建站點並佈署到GitHub Pages。

  • Checkout repository：檢查倉函式庫程式碼。
  • Set up Hugo：安裝並設定 Hugo。
  • Build site：構建 Hugo 靜態網站。
  • Deploy to GitHub Pages：將構建好的站點佈署到 GitHub Pages。

Maven Java 專案範本工作流程

生成一個適用於 Maven Java 專案的 GitHub Actions 工作流程範本, 包括編譯程式碼、執行測試和封裝應用的步驟。

name: Build and Test Java Project with Maven

on:
  push:
    branches:
      - main

jobs:
  build:
    runs-on: ubuntu-latest

    steps:
    - name: Checkout repository
      uses: actions/checkout@v2

    - name: Set up JDK 11
      uses: actions/setup-java@v2
      with:
        java-version: '11'

    - name: Build with Maven
      run: mvn clean install

    - name: Run Tests
      run: mvn test

    - name: Package Application
      run: mvn package

內容解密：`

這個 YAML 範本用於在 Maven Java 專案中構建和測試程式碼。

  • Checkout repository：從倉函式庫中檢查程式碼。
  • Set up JDK：設定 JDK 環境版本為11。
  • Build with Maven：透過 Maven 清理並安裝專案。
  • Run Tests：執行單元測試。
  • Package Application：透過Maven進行封裝。

Docker 化應用範本工作流程

建立一個適合 Docker 化應用程式的 GitHub Actions 工作流程範本, 包括步驟如構建 Docker image、將其推播到 Docker Hub、並佈署到 Kubernetes 叢集。


name: CI/CD for Dockerized Application

on:
  push:
    branches:
      - main

jobs:
  build-and-deploy:
    runs-on: ubuntu-latest

    steps:
    - name: Checkout repository
      uses: actions/checkout@v2

    - name: Set up Docker Buildx
      uses: docker/setup-buildx-action@v1

    - name: Login to Docker Hub
      uses: docker/login-action@v1
      with:
        username: ${{ secrets.DOCKER_USERNAME }}
        password: ${{ secrets.DOCKER_PASSWORD }}

    - name: Build and push Docker image
      run: |
        docker build -t mydockerhubusername/myapp:${{ github.sha }} .
        docker push mydockerhubusername/myapp:${{ github.sha }}

    - name: Deploy to Kubernetes cluster via kubectl kubectl version --client >/dev/null || { echo "Kubectl not installed. Aborting."; exit 1; }

內容解密：

這個 YAML 範本定義了一個 CI/CD Pipeline, 用於 Docker 化應用程式.

  • Checkout repository：從倉函式庫中檢查程式碼。
  • Set up Docker Buildx：設定 Docker Buildx 作為構建工具。
  • Login to Docker Hub：登入 Docker Hub。
  • Build and push Docker image：構建並推播Docker映象至Docker Hub.

ChatGPT 外掛：強大工具集合

ChatGPT 外掛是利用 OpenAI LLM 功能的一些小型應用程式。它們讓你能夠使用外部資料函式庫和應用程式。就像你有自己的 iOS 或 Google Play 小應用商店一般。

要使用外掛，你首先需要確保已啟用該功能。前往你的設定檔並選擇 Beta 功能。

外掛分為熱門、新增、全部及已安裝應用等類別供你瀏覽過濾與搜尋。

Codecademy 外掛：技術學習助手

Codecademy 外掛提供兩大功能：幫助使用者根據目標和經驗級別找到特定課程或學習路徑；以及快速參考技術檔案提供相關資源連結。

舉例來說：

提示：

「最佳資原始檔或文章介紹 JavaScript 雜湊。」

ChatGPT 提供了相關課程連結供參考。

AskYourDatabase 外掛：簡化資料函式庫操作

Sheldon Niu 創造 AskYourDatabase 外掛因為他經常利用 ChatGPT 撰寫 SQL 陳述式時遇到困難而產生了這樣的靈感。「如果 ChatGPT 能直接與資料函式庫互動就好了！」因此他開始開發 AskYourDatabase 外掛。

有了這款工具後便能快速測試資料函式庫架構設計並且查詢資料變得更加簡單快速；甚至跳過傳統業務智慧（BI）工具節省大量設定時間。

Recombinant AI 外掛：提升開發者效率

Mark Zahm 是位開發者兼 AI 諮詢公司經營者。「Recombinant AI 外掛」旨在簡化開發人員處理 GitHub 和 GitLab 儲存函式庫時所面臨之挑戰。「我稱它為『對話式 IDE』」，他笑說：「沒錯！」。

此外掛能夠協助開發者快速把握整體專案邏輯、深入瞭解細節從而更好地調整分析、甚至融合自己的想法於軟體之中。「Recombinant AI 外掛」可應用於傳統功能如儲存碼片段/提示/更新最新編輯器功能等；藉由專案與檔案系統建立複雜任務清單及連鎖推理提示。

GPT：自訂化 ChatGPT 創造未來式開發風格規範

你也可以創造自己的自訂化 ChatGPT—稱為 GPT—其實只要幾分鐘便可完成。「給定範例——我們將構築適合於軟體開發風格規範之 GPT。」

例如：構築強制遵循「軟體開發風格規範」之 GPT：「該系統包含基礎準則如何命名變數讓大家都能理解；正確縮排方式以及團隊所遵循之特定編寫模式。」此規範旨在統一化使得每個人都容易閱讀理解；特別是在大型專案時十分重要！

不過對於新手來說可能會有些壓力——必須適應新標準。「當然！我的 GPT 則可助你度過困難期！」因此我們開始——首先點選 ChatGPT 首頁左上角「探索」選項→再選擇「創造 GPT」。隨後你將看到兩面板頁面——左側面板為構築 GPT 與右側預覽區域。「以下請看此範例提示：」

提示：

「創造強制遵循軟體開發風格規範之系統。」

此圖示展現 ChatGPT 自訂化介面：

  graph TD;
A[ChatGTP首頁] --> B[探索];
B --> C[創造GPT];
C --> D[兩面板頁面];
D --> E[左側面板];
D --> F[右側預覽區域];
E --> G[構築GTP];
F --> H[預覽效果];

此圖示詳細展現了透過左側面板操控與右側預覽區域確認結果二階段操作；藉由 ChatGTP 自訂化介面實作「軟體開發風格規範」系統創造——玄貓希望能給予每位開發者極大便利！

開發專屬自動化的Python程式開發工具

在現代軟體開發中，Python已經成為自動化和資料處理的首選語言。無論是從事網頁開發、資料分析、機器學習，或是其他需要自動化的領域，Python都能提供強大的功能和靈活性。本文將引導你如何利用Python開發一個專屬於自己的自動化開發工具，並介紹如何組態與最佳化這個工具。

Python程式開發的優勢

Python以其簡潔的語法和強大的生態系統著稱，適合各種開發需求。以下是Python在自動化開發中的一些主要優勢：

  1. 簡潔易學：Python的語法簡單直觀，適合初學者快速上手。
  2. 豐富的函式庫：Python擁有豐富的第三方函式庫和框架，如Pandas、NumPy、Scikit-learn等，能夠滿足不同需求。
  3. 跨平台：Python可以在多種作業系統上執行，包括Windows、macOS和Linux。
  4. 社群支援：Python擁有活躍的社群和豐富的資源，能夠快速解決問題。

設定專屬自動化開發工具

要開發一個專屬於自己的Python自動化開發工具，首先需要進行一些基本設定。以下是步驟指引：

安裝必要的工具

首先，確保你已經安裝了Python。你可以從Python官方網站下載並安裝最新版本。

接下來，安裝一些常用的Python函式庫：

pip install pandas numpy scikit-learn

這些函式庫將為你的自動化開發提供強大的功能支援。

設定虛擬環境

為了避免依賴性衝突，建議使用虛擬環境來管理你的Python專案。使用venv來建立虛擬環境：

python -m venv myenv
source myenv/bin/activate  # 在Windows上使用 `myenv\Scripts\activate`

構建基本程式結構

以下是一個簡單的Python程式結構範例：

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

# 課載資料
data = pd.read_csv('data.csv')

# 資料處理
data = data.dropna()  # 去除缺失值

# 特徵與標籤分離
X = data.drop('target', axis=1)
y = data['target']

# 資料分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 模型訓練（假設使用線性迴歸模型）
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(X_train, y_train)

# 模型評估
score = model.score(X_test, y_test)
print(f'Model accuracy: {score}')

內容解密：

此程式碼展示瞭如何使用Pandas進行資料處理，並利用Scikit-learn進行機器學習模型訓練。以下是每個步驟的詳細解說：

  1. 資料載入：使用Pandas載入CSV檔案。
  2. 資料處理：去除資料中的缺失值。
  3. 特徵與標籤分離：將資料分為特徵（X）和標籤（y）。
  4. 資料分割：將資料分為訓練集和測試集。
  5. 模型訓練：使用線性迴歸模型進行訓練。
  6. 模型評估：計算模型在測試集上的準確性。

進階最佳化與擴充套件

在基本結構搭建完成後，可以進一步最佳化和擴充套件你的自動化工具。以下是一些建議：

整合第三方API

如果你需要從外部來源取得資料或進行特定功能處理，可以整合第三方API。例如，使用Twitter API取得實時推文資料：

import tweepy

# 設定API金鑰
consumer_key = 'your_consumer_key'
consumer_secret = 'your_consumer_secret'
access_token = 'your_access_token'
access_token_secret = 'your_access_token_secret'

# 身份驗證
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)

# 建立API物件
api = tweepy.API(auth)

# 取得推文
tweets = api.search(q='Python', count=100)
for tweet in tweets:
    print(tweet.text)

內容解密：

此程式碼展示瞭如何使用Tweepy函式庫來連線Twitter API並取得特定關鍵字的推文。以下是每個步驟的詳細解說：

  1. 設定API金鑰：設定Twitter API所需的身份驗證金鑰。
  2. 身份驗證：使用Tweepy進行身份驗證。
  3. 建立API物件：建立API物件以進行後續操作。
  4. 取得推文：搜尋特定關鍵字並取得推文內容。

自動化報告生成

可以將資料分析結果自動生成報告，並透過電子郵件或其他方式傳送給相關人員。例如，使用matplotlib生成圖表並儲存為PDF：

import matplotlib.pyplot as plt

# 生成圖表
plt.plot(data['time'], data['value'])
plt.title('Data Over Time')
plt.xlabel('Time')
plt.ylabel('Value')
plt.savefig('report.pdf')

# 傳送電子郵件（假設使用smtplib）
import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from email import encoders

fromaddr = "your_email@example.com"
toaddr = "recipient@example.com"
msg = MIMEMultipart()
msg['From'] = fromaddr
msg['To'] = toaddr
msg['Subject'] = "Data Report"

body = "Please find the attached report."
msg.attach(MIMEText(body, 'plain'))

attachment = open("report.pdf", "rb")
part = MIMEBase('application', 'octet-stream')
part.set_payload(attachment.read())
encoders.encode_base64(part)
part.add_header('Content-Disposition', f'attachment; filename=report.pdf')
msg.attach(part)

server = smtplib.SMTP('smtp.example.com', 587)
server.starttls()
server.login(fromaddr, "your_password")
text = msg.as_string()
server.sendmail(fromaddr, toaddr, text)
server.quit()

內容解密：

此程式碼展示瞭如何生成圖表並透過電子郵件傳送報告。以下是每個步驟的詳細解說：

  1. 生成圖表：使用Matplotlib生成圖表並儲存為PDF檔案。
  2. 設定電子郵件：使用smtplib設定電子郵件內容並附加PDF檔案。
  3. 傳送電子郵件：透過SMTP伺服器傳送電子郵件。

自動化與資料科學應用

資料前處理：清理與轉換資料

在進行任何資料科學任務之前，資料前處理是至關重要的一步。資料前處理包括清理資料、轉換資料格式以及特徵工程等多個方面。以下是一些常見的資料前處理技術及其應用案例。

資料清理技術

  1. 去除缺失值：缺失值會影響模型訓練效果，因此需要去除或補全缺失值。
  2. 去除重複值：重複值會導致資料偏差，應該去除重複行。
  3. 異常值檢測與處理：異常值會影響模型效能，應該檢測並處理異常值。

資料轉換技術

  1. 標準化與正規化：將資料轉換到相同尺度範圍內，以提高模型訓練效果。
  2. 編碼類別變數：將類別變數轉換為模型可接受的格式（如one-hot編碼）。
  3. 特徵縮放與變換：對特徵進行縮放或變換以提高模型效果。

以下是一個完整的資料前處理範例：

import pandas as pd
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer

# 課載資料
data = pd.read_csv('data.csv')

# 去除缺失值（這裡假設簡單地刪除包含缺失值的行）
data.dropna(inplace=True)

# 去除重複值（這裡假設簡單地刪除重複行）
data.drop_duplicates(inplace=True)

# 標準化數值特徵（這裡假設所有特徵都是數值型）
scaler = StandardScaler()
numerical_features = data.select_dtypes(include=['int64', 'float64']).columns
data[numerical_features] = scaler.fit_transform(data[numerical_features])

# 編碼類別變數（這裡假設所有非數值特徵都是類別變數）
encoder = OneHotEncoder()
categorical_features = data.select_dtypes(include=['object']).columns
encoded_features = encoder.fit_transform(data[categorical_features]).toarray()
encoded_df = pd.DataFrame(encoded_features, columns=encoder.get_feature_names_out(categorical_features))
data = pd.concat([data.drop(categorical_features, axis=1), encoded_df], axis=1)

內容解密：

此程式碼展示瞭如何進行完整的資料前處理流程。以下是每個步驟的詳細解說：

  1. 去除缺失值：使用Pandas刪除包含缺失值的行。
  2. 去除重複值：使用Pandas刪除重複行。
  3. 標準化數值特徵：使用StandardScaler對所有數值特徵進行標準化。
  4. 編碼類別變數：使用OneHotEncoder對所有類別變數進行編碼。

特徵工程：提升模型效能

特徵工程是資料科學中非常重要的一環。透過合理設計和選擇特徵，可以顯著提升模型效能。以下是一些常見的特徵工程技術及其應用案例。

特徵選擇技術

  1. 根據相關性矩陣選擇特徵：選擇與目標變數高度相關的特徵。
  2. 根據樹模型選擇特徵：利用樹模型（如隨機森林）計算各特徵重要性並選擇重要特徵。

特徵建構技術

  1. 組合特徵建構技術（例如兩兩組合）：從現有特徵中建構出新特徵以捕捉更多資訊。
  2. 時間序列滯後特徵（例如滯後一天）：從時間序列中建構出滯後特徵以捕捉時間依賴性。

以下是一個完整的特徵工程範例：

import pandas as pd
from sklearn.feature_selection import SelectKBest, f_classif

# 課載資料
data = pd.read_csv('data.csv')

# 特徵選擇：選擇前5個最相關的特徵（假設目標變數名為'target'）
X = data.drop('target', axis=1)
y = data['target']
selector = SelectKBest(f_classif, k=5)
X_new = selector.fit_transform(X, y)

# 特徵建構：假設有兩個時間序列特徵'time'和'value'，
time_lagged_data['time_lagged'] = time_lagged_data['time'].shift(1)
time_lagged_data.dropna(inplace=True)  # 去除新增滯後列後產生的缺失值行

print(X_new)
print(time_lagged_data)

內容解密：

此程式碼展示瞭如何進行完整的特徾工程流程。以下是每個步驟詳細解說：

  1. 課載資料 ：利用pandas課載CSV格式之資料集 ，我們這邊用「data.csv」做範例 。
  2. 依照目標變數選擇 ：利用「SelectKBest」及「f_classif」方法選取最相關之前五個對應「目標」列之變項 。
  3. .時間序列滯後 ：在此範例中我們將第一天移位至第二日以捕捉時間依賴性 ，此外我們也必須刪除新增滯後列後產生之空白欄位 。

視覺化及報告生成：透明且易懂

視覺化技術能夠幫助我們更好地理解資料和模型結果。以下是一些常見視覺化技術及其應用案例。

常見視覺化技術及其應用案例：

  1. 資料分佈視覺化：利用直方圖或箱形圖來檢視資料分佈情況；舉例而言 ，直方圖可顯示出學生考試分佈 ，而箱形圖則可顯示考試成績不同年級之比較 。透過這些視覺表達方式 ，不僅可幫助我們快速瞭解各組間之差異 ，更可提供判斷決策依據 。

  2. 特徑相關矩陣視覺化：利用熱圖來檢視各專案之間之相互關係；此類別方法可清楚顯示出各專案之間之強弱程度 ，舉例而言 ，從銷售資料中找出收入以及花費之間之關係 ，再以色塊表示強度程度 。

3: 模型預測結果視覺化：利用折線圖或散點圖來檢視預測結果；舉例而言 ，我們可利用折線圖來觀察股價預測結果 與實際股價走勢情況 ，散點圖則可反映實際與預測間之距離 。

生成報告：

以python專案展示為基礎 語法如下 :

import matplotlib.pyplot as plt
import seaborn as sns
玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。