Python 影像特徵提取與 HOG 演算法應用

– 14 分鐘閱讀

在電腦視覺領域，影像特徵提取是許多工的基本，例如影像分類、物體偵測和影像檢索等。HOG（Histogram of Oriented Gradients）演算法作為一種廣泛使用的特徵描述子，能有效捕捉影像的區域性梯度方向資訊，進而描述影像的紋理和形狀特徵。實務上，我們可以利用 Python 的 Scikit-image 函式庫輕鬆實作 HOG 特徵提取，並結合其他影像處理技術，如影像重塑、歸一化和資料增強等，提升模型的效能和穩健性。 在模型訓練階段，適當的影像預處理和資料增強策略能有效避免過擬合，提升模型的泛化能力。同時，理解影像大小、長寬比等屬性，並選擇合適的插值方法進行影像重塑，也是確保模型效能的關鍵因素。

影像特徵提取：HOG 演算法

在影像處理中，特徵提取是一個非常重要的步驟。其中，HOG（Histogram of Oriented Gradients）演算法是一種常用的方法，用於提取影像中的邊緣和線條特徵。

HOG 演算法步驟

HOG 演算法可以分為四個步驟：

  1. 影像分割：將影像分割成小的單元，稱為細胞（cells）。
  2. 梯度計算：在每個細胞中計算梯度，梯度代表了影像中邊緣和線條的方向。
  3. 梯度分組：將梯度分組為不同的方向，形成一個直方圖（histogram）。
  4. 直方圖計算：計算每個方向的梯度數量，形成一個特徵向量。

實作 HOG 演算法

以下是使用 Python 實作 HOG 演算法的範例：

import numpy as np
import matplotlib.pyplot as plt
from skimage import feature

# 載入影像
sample_image = x_train[0]

# 將影像轉換為灰階
gray_image = np.mean(sample_image, axis=2)

# 應用 HOG 演算法
hog_features, hog_image = feature.hog(gray_image, pixels_per_cell=(8, 8), cells_per_block=(2, 2), visualize=True)

# 繪製原始影像和 HOG 特徵
plt.figure(figsize=(8, 4))
plt.subplot(1, 2, 1)
plt.imshow(gray_image, cmap='gray')
plt.title('原始灰階影像')
plt.subplot(1, 2, 2)
plt.imshow(hog_image, cmap='gray')
plt.title('HOG 特徵')
plt.tight_layout()
plt.show()

結果

HOG 演算法可以有效地提取影像中的邊緣和線條特徵，形成一個特徵向量。這個特徵向量可以用於影像分類、物體偵測等應用中。

圖表翻譯：

  flowchart TD
    A[影像分割] --> B[梯度計算]
    B --> C[梯度分組]
    C --> D[直方圖計算]
    D --> E[特徵向量]

在這個流程圖中，HOG 演算法的四個步驟被明確地展示出來。從影像分割到特徵向量的形成， 每個步驟都對應著特定的操作和結果。這個流程圖有助於我們更好地理解 HOG 演算法的工作原理。

影像大小和長寬比分析

在影像資料模型中，瞭解影像大小和長寬比的分佈至關重要。長寬比是指影像的寬度和高度之間的比例關係，它是描述影像形狀的數值表示。長寬比在影像處理中尤為重要，因為它提供了影像在視覺上的拉伸或壓縮程度的見解。從數學上講，長寬比是透過寬度除以高度計算得出的，通常以比率或小數值表示。

長寬比對模型效能的影響

讓我們透過以下幾點來瞭解長寬比對模型效能的影響：

  • 物體識別：在物體識別任務中，保持正確的長寬比對於準確檢測至關重要。如果在預處理或增強中長寬比被扭曲，可能會導致對物體形狀的誤解。
  • 訓練穩定性：確保訓練資料集中的長寬比的一致性可以貢獻於訓練穩定性。模型可能會遇到困難，如果它們遇到在訓練資料中不存在的長寬比變化。
  • 邊界框準確性：在物體檢測中，邊界框通常由寬度和高度定義。長寬比的偏差可能會影響邊界框預測的準確性。

影像大小、長寬比和畫素長寬比的計算

假設有一個影像大小為 M × N，其中 M 是行數（高度），N 是列數（寬度）。影像大小、長寬比和畫素長寁比可以按以下方式計算：

  • 影像大小：影像大小是影像中的畫素總數，計算方法是 M × N。
  • 長寬比：長寬比是影像寬度與高度的比率，計算方法是 N 除以 M。
  • 畫素長寬比：它是畫素寬度與高度的比率，尤其是在處理非方形畫素時相關。

填充、裁剪和長寬比評估指標

  • 填充：涉及在影像邊緣新增額外的畫素，以確保輸入影像的空間維度保持一致，特別是在應用卷積運算時。
  • 裁剪：涉及從影像中刪除部分，通常是從邊緣刪除，以關注特定的區域或調整影像大小。
  • 長寬比評估指標：用於評估預測邊界框的長寬比與真實邊界框之間的相似性，常用的指標包括交併比（IoU）和 F1 分數。

影像重塑

影像重塑是指在保留影像長寬比的情況下更改影像的尺寸。它是計算機視覺應用中的一個常見預處理步驟，包括物體檢測、影像分類和影像分割。 影像重塑的主要原因是：

  • 將影像適應特定的顯示大小或長寬比。
  • 減少影像處理的計算複雜度。

重塑方法

  • 插值：是一種估計重塑影像中畫素值的技術，涉及計算原始影像中周圍畫素值的加權平均值。
  • 重取樣：涉及計算重塑影像中畫素值的過程，可以使用不同的插值方法，如鄰近畫素、雙線性、雙立方和 Lanczos 重取樣。

Lanczos 重取樣

Lanczos 重取樣是一種數字影像處理中用於重塑或重取樣影像的方法。它是一種插值演算法，旨在產生高質量的結果，特別是在下取樣影像時。Lanczos 演算法涉及將 sinc 函式應用於原始影像的畫素值，以計算重塑影像中的畫素值。

Python 示例

以下是使用 Python 的 Pillow 庫示範不同插值方法（鄰近畫素、雙線性、雙立方和 Lanczos 重取樣）對影像進行重塑的示例：

from PIL import Image

# 開啟示例影像
image_path = "../images/roseflower.jpeg"
image = Image.open(image_path)

# 使用不同插值方法重塑影像
nearest_neighbor_resized = image.resize((100, 100), resample=Image.NEAREST)
bilinear_resized = image.resize((100, 100), resample=Image.BILINEAR)

內容解密：

以上程式碼示範瞭如何使用 Python 的 Pillow 庫對影像進行重塑，包括使用不同的插值方法。這些方法可以用於影像預處理，例如在物體檢測或影像分類任務中。透過選擇合適的插值方法，可以在影像質量和計算效率之間取得平衡。

圖表翻譯：

  flowchart TD
    A[影像重塑] --> B[插值方法]
    B --> C[鄰近畫素]
    B --> D[雙線性]
    B --> E[雙立方]
    B --> F[Lanczos 重取樣]
    C --> G[重塑影像]
    D --> G
    E --> G
    F --> G

圖表翻譯：

此圖表示影像重塑的過程，包括選擇插值方法（鄰近畫素、雙線性、雙立方和 Lanczos 重取樣）以對影像進行重塑。這些方法可以用於不同的應用場合，以達到最佳的影像質量和計算效率。

圖片縮放與插值方法

圖片縮放是影像處理中的一個重要步驟，涉及到圖片的尺寸變化。然而，圖片縮放的過程中，可能會出現畫素值的缺失，需要使用插值方法來補充這些缺失的畫素值。

插值方法

目前，常用的插值方法有四種：鄰近鄰域法（Nearest Neighbor）、雙線性插值法（Bilinear）、三次插值法（Bicubic）和Lanczos插值法。

鄰近鄰域法（Nearest Neighbor）

鄰近鄰域法是一種簡單且快速的插值方法，它選擇最接近插值點的畫素值作為插值結果。這種方法通常用於圖片的放大，尤其是對於畫素藝術圖片的放大。

雙線性插值法（Bilinear）

雙線性插值法使用四個最接近插值點的畫素值進行線性插值，得到插值結果。這種方法常用於一般的圖片縮放，能夠得到比較平滑的結果。

三次插值法（Bicubic）

三次插值法使用一條三次曲線來進行插值，能夠得到更加平滑的結果。這種方法通常用於圖片的高品質縮小。

Lanczos插值法

Lanczos插值法使用 sinc 函式作為插值核，能夠得到最高品質的結果。這種方法通常用於圖片的縮小，尤其是對於需要保持圖片質量的場合。

插值方法的選擇

選擇合適的插值方法取決於圖片的特點、縮放的比例以及顯示裝置的能力。一般來說，Lanczos插值法能夠得到最高品質的結果，但可能需要更多的計算時間。

Python 中的圖片縮放

在 Python 中，可以使用 Pillow 庫來進行圖片縮放。以下是一個簡單的例子：

from PIL import Image

# 開啟圖片
img = Image.open('../images/roseflower.jpeg')

# 設定新尺寸
new_size = (200, 200)

# 縮放圖片
resized_img = img.resize(new_size)

# 儲存縮放後的圖片
resized_img.save('resized_img.jpg')

在這個例子中，我們使用 resize() 方法來縮放圖片，並將結果儲存為一個新檔案。

內容解密：

上述程式碼使用 Pillow 庫來開啟圖片，設定新尺寸，然後使用 resize() 方法來縮放圖片。最後，將結果儲存為一個新檔案。

  flowchart TD
    A[開啟圖片] --> B[設定新尺寸]
    B --> C[縮放圖片]
    C --> D[儲存結果]

圖表翻譯：

上述流程圖顯示了圖片縮放的過程。首先，開啟圖片，然後設定新尺寸，接著使用 resize() 方法來縮放圖片，最後，將結果儲存為一個新檔案。

圖片縮放技術

圖片縮放是影像處理中的一個基本操作，涉及改變圖片的尺寸。這個過程可以使用Python的Pillow庫和OpenCV庫來實作。

使用Pillow庫進行圖片縮放

以下是使用Pillow庫進行圖片縮放的例子：

from PIL import Image

# 開啟圖片
img = Image.open("image.jpg")

# 定義新的圖片尺寸
new_size = (500, 500)

# 縮放圖片
resized_img = img.resize(new_size)

# 儲存縮放後的圖片
resized_img.save("resized_image.jpg")

在這個例子中，我們首先開啟一張圖片，然後定義新的圖片尺寸。接著，我們使用resize()方法將圖片縮放到新的尺寸，最後儲存縮放後的圖片。

使用OpenCV庫進行圖片縮放

以下是使用OpenCV庫進行圖片縮放的例子：

import cv2
import os

# 定義圖片目錄路徑
img_dir = '../Images/resize_images'

# 獲取圖片目錄中的所有圖片檔名
img_files = [os.path.join(img_dir, f) for f in os.listdir(img_dir) if os.path.isfile(os.path.join(img_dir, f))]

# 定義新的圖片尺寸
new_size = (224, 224)

# 迴圈處理所有圖片檔案
for img_file in img_files:
    # 讀取圖片
    img = cv2.imread(img_file)

    # 縮放圖片
    resized_img = cv2.resize(img, new_size)

    # 儲存縮放後的圖片
    cv2.imwrite("resized_" + os.path.basename(img_file), resized_img)

在這個例子中，我們首先定義圖片目錄路徑，然後獲取圖片目錄中的所有圖片檔名。接著，我們定義新的圖片尺寸，然後迴圈處理所有圖片檔案。對於每個圖片檔案，我們讀取圖片，縮放圖片，然後儲存縮放後的圖片。

內容解密：

在上面的例子中，我們使用Pillow庫和OpenCV庫來實作圖片縮放。Pillow庫提供了一個簡單的resize()方法來縮放圖片，而OpenCV庫提供了一個resize()方法來縮放圖片，並且可以使用imread()和imwrite()方法來讀取和儲存圖片。這兩個庫都提供了一個方便的方式來實作圖片縮放。

圖表翻譯：

以下是使用Mermaid語法來視覺化圖片縮放過程的圖表：

  flowchart TD
    A[圖片] --> B[縮放]
    B --> C[儲存]
    C --> D[縮放後的圖片]

這個圖表展示了圖片縮放的過程，從圖片的輸入，到縮放，然後儲存縮放後的圖片。

圖片重塑與歸一化技術

在電腦視覺應用中，圖片重塑和歸一化是兩個重要的預處理步驟。圖片重塑是指改變圖片的尺寸，而保持其長寬比不變。這是一種常見的預處理步驟，尤其是在圖片分類和物體檢測任務中。

圖片重塑

圖片重塑可以使用OpenCV庫中的cv2.resize()函式實作。這個函式需要三個引數：要重塑的圖片、新的尺寸（寬度和高度）以及插值方法。預設的插值方法是cv2.INTER_LINEAR，它在大多數情況下都能產生良好的結果。

import cv2

# 載入圖片
img = cv2.imread("image.jpg")

# 重塑圖片
resized_img = cv2.resize(img, (256, 256))

# 儲存重塑後的圖片
cv2.imwrite("resized_image.jpg", resized_img)

圖片歸一化

圖片歸一化是指將圖片的畫素值轉換到一個特定的範圍或具有某些統計特性。這是一種常見的預處理步驟，尤其是在圖片分類和物體檢測任務中。

最小-最大歸一化

最小-最大歸一化是一種常見的歸一化技術。它將圖片的畫素值轉換到一個特定的範圍，通常是[0, 1]或[-1, 1]。

import numpy as np

# 載入圖片
img = cv2.imread("image.jpg")

# 最小-最大歸一化
min_value = np.min(img)
max_value = np.max(img)
normalized_img = (img - min_value) / (max_value - min_value)

Z-分數歸一化

Z-分數歸一化是一種常見的歸一化技術。它將圖片的畫素值轉換到一個特定的範圍，通常是具有均值0和標準差1。

import numpy as np

# 載入圖片
img = cv2.imread("image.jpg")

# Z-分數歸一化
mean_value = np.mean(img)
std_value = np.std(img)
normalized_img = (img - mean_value) / std_value

直方圖均衡化

直方圖均衡化是一種常見的歸一化技術。它將圖片的畫素值轉換到一個特定的範圍，通常是具有均勻分佈。

import cv2

# 載入圖片
img = cv2.imread("image.jpg", 0)

# 直方圖均衡化
equalized_img = cv2.equalizeHist(img)

圖表翻譯：

此圖示為圖片重塑和歸一化的流程圖，展示瞭如何使用OpenCV庫中的函式實作圖片重塑和歸一化。

  flowchart TD
    A[載入圖片] --> B[重塑圖片]
    B --> C[歸一化圖片]
    C --> D[儲存歸一化後的圖片]

內容解密：

圖片重塑和歸一化是兩個重要的預處理步驟，在電腦視覺應用中扮演著重要角色。圖片重塑可以使用OpenCV庫中的cv2.resize()函式實作，而圖片歸一化可以使用最小-最大歸一化、Z-分數歸一化和直方圖均衡化等技術實作。這些技術可以幫助提高圖片分類和物體檢測任務的準確性。

影像預處理技術

影像預處理是機器學習和深度學習中的一個重要步驟，尤其是在計算機視覺應用中。影像預處理的目的是將影像轉換為一個適合模型訓練的格式。其中一個常見的影像預處理技術是影像歸一化。

影像歸一化

影像歸一化是一種技術，用於將影像的畫素值轉換為零均值和單位方差。這可以使用以下公式實作：img -= np.mean(img); img /= np.std(img)。這種技術也被稱為標準化或z-score歸一化。影像歸一化對於機器學習模型非常重要，因為它可以確保所有影像的畫素值都具有相似的尺度。

import numpy as np
import cv2

# 載入影像
img = cv2.imread('image.jpg')

# 將影像轉換為浮點數型別
img = img.astype(np.float32)

# 影像歸一化
img -= np.mean(img)
img /= np.std(img)

# 儲存歸一化的影像
cv2.imwrite('normalized_image.jpg', img)

影像增強

影像增強是一種技術，用於人工增加影像資料集的大小。這可以透過對現有的影像應用各種轉換來實作，例如旋轉、翻轉、縮放等。影像增強可以幫助防止過度擬合和提高模型的泛化能力。

from keras.preprocessing.image import ImageDataGenerator

# 建立影像增強器
datagen = ImageDataGenerator(
    rotation_range=30,
    width_shift_range=0.2,
    height_shift_range=0.2,
    shear_range=30,
    zoom_range=0.2,
    horizontal_flip=True,
    fill_mode='nearest'
)

# 載入影像
img = cv2.imread('image.jpg')

# 將影像轉換為浮點數型別
img = img.astype(np.float32)

# 將影像擴充套件為4維陣列
img = np.expand_dims(img, axis=0)

# 進行影像增強
datagen.fit(img)

影像資料增強技術

影像資料增強是一種用於增加影像資料集大小和多樣性的技術，常用於深度學習模型的訓練。以下是使用 Keras 的 ImageDataGenerator 類別實作影像資料增強的步驟。

步驟 1：定義影像資料夾路徑

首先，我們需要定義影像資料夾的路徑。這個路徑應該包含所有要進行資料增強的影像檔案。

img_dir = 'path/to/image/directory'

步驟 2：建立 ImageDataGenerator 例項

接下來，我們建立一個 ImageDataGenerator 例項，並定義各種影像資料增強的引數，例如旋轉、水平和垂直移位、剪裁、縮放和水平翻轉等。

datagen = ImageDataGenerator(
    rotation_range=30,
    width_shift_range=0.2,
    height_shift_range=0.2,
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True,
    fill_mode='nearest'
)

步驟 3：載入影像並轉換為陣列

我們使用 os 模組的 listdir 函式取得影像資料夾中的所有檔案清單。然後，我們使用 load_img 函式載入每個影像，並使用 img_to_array 函式將影像轉換為陣列。

img_files = [os.path.join(img_dir, f) for f in os.listdir(img_dir) if os.path.isfile(os.path.join(img_dir, f))]

for img_file in img_files:
    img = load_img(img_file)
    img_arr = img_to_array(img)

步驟 4：重塑陣列

最後，我們需要重塑陣列以符合模型的輸入需求。在這個例子中，我們重塑陣列以增加批次維度。

img_arr = np.reshape(img_arr, (1, ) + img_arr.shape)

內容解密：

以上程式碼使用 Keras 的 ImageDataGenerator 類別實作影像資料增強。ImageDataGenerator 類別提供了多種影像資料增強的方法，包括旋轉、水平和垂直移位、剪裁、縮放和水平翻轉等。透過這些方法，我們可以增加影像資料集的大小和多樣性，從而提高模型的泛化能力。

圖表翻譯：

  graph LR
    A[影像資料夾] -->|載入影像|> B[影像陣列]
    B -->|影像資料增強|> C[增強影像陣列]
    C -->|重塑陣列|> D[模型輸入]

以上圖表展示了影像資料增強的流程。首先，我們載入影像資料夾中的影像。然後，我們使用 ImageDataGenerator 類別實作影像資料增強。最後，我們重塑陣列以符合模型的輸入需求。

影像資料增強

影像資料增強是一種用於增加影像資料集大小和多樣性的技術。這種技術可以幫助我們生成更多的影像資料，從而提高機器學習模型的效能。

步驟4：為每個輸入影像生成五個增強影像

我們可以使用以下程式碼生成五個增強影像：

img_arr = img_arr.reshape((1,) + img_arr.shape)
# 生成5個增強影像
i = 0
for batch in datagen.flow(
    img_arr, batch_size=1, save_to_dir=img_dir,
    save_prefix='aug_', save_format='jpg'
):
    i += 1
    if i == 5:
        break

這段程式碼使用datagen.flow()方法生成五個增強影像，並將其儲存到指定目錄中。

資料標記

資料標記是指為影像資料集新增標籤的過程。這個過程可以幫助我們生成精確和可靠的標籤，從而提高機器學習模型的效能。

使用規則進行資料標記

我們可以使用規則進行資料標記。這種方法可以幫助我們生成精確和可靠的標籤。以下是使用規則進行資料標記的步驟：

  1. 建立標記規則：我們可以根據影像的視覺化、大小和長寬比等屬性建立標記規則。
  2. 應用轉移學習：我們可以使用預先訓練的模型（如YOLO V3）進行轉移學習，從而提高模型的效能。

內容解密：

以上程式碼使用datagen.flow()方法生成五個增強影像，並將其儲存到指定目錄中。這種方法可以幫助我們增加影像資料集的大小和多樣性，從而提高機器學習模型的效能。

圖表翻譯：

  flowchart TD
    A[影像資料集] --> B[影像增強]
    B --> C[資料標記]
    C --> D[機器學習模型]
    D --> E[模型效能提高]

這個圖表展示了影像資料增強和資料標記的過程。影像資料增強可以幫助我們增加影像資料集的大小和多樣性，從而提高機器學習模型的效能。資料標記可以幫助我們生成精確和可靠的標籤，從而提高模型的效能。

影像處理技術正經歷著快速發展，HOG 特徵提取、影像縮放、資料增強等技術已成為電腦視覺應用的基本。深入剖析這些技術的應用場景，可以發現它們在物件偵測、影像分類、影像分割等領域扮演著至關重要的角色。實務落地過程中，開發者需要根據具體任務需求選擇合適的演算法和引數，例如 HOG 的細胞大小、圖片縮放的插值方法、資料增強的轉換方式等。技術限制方面，HOG 特徵對於光照變化和旋轉等因素較為敏感，而資料增強也可能引入新的噪聲或偏差。玄貓認為，隨著深度學習的發展，根據卷積神經網路的影像特徵提取方法正逐漸取代傳統演算法，但 HOG 等經典技術仍具有其獨特的價值，特別是在資源受限的嵌入式系統中。未來，這些技術將持續演進，與深度學習技術融合，為更廣泛的應用場景提供更強大的影像處理能力。對於開發者而言，持續學習和掌握這些技術的最新發展至關重要。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。