深度學習影像預處理與增強技術

– 14 分鐘閱讀

在深度學習影像處理流程中，預處理和增強扮演著至關重要的角色，直接影響模型訓練效果和泛化能力。預處理步驟通常包含影像重塑、正規化，以確保輸入資料格式一致性，方便後續批次處理，提升訓練效率。影像增強則透過多樣化訓練資料，例如新增噪聲、水平翻轉等操作，有效避免模型過擬合，提升模型在真實場景的表現。程式碼範例中，使用 TensorFlow 的 tf.image.resize 和除以 255 的操作示範了影像重塑和正規化，並利用 map、batch、prefetch 等方法進行批次處理，最佳化資料讀取效率。此外，文章也探討了 JAX 框架在影像增強方面的應用，使用 jax.random.normal 生成隨機噪聲，並示範如何將其新增到影像中，以及如何進行水平翻轉操作。同時，文章也比較了 NumPy 和 JAX 在隨機數生成方面的差異，說明 JAX 根據 PRNG 的特性，並提供程式碼範例，方便讀者理解和應用。

影像預處理與批次處理

在深度學習中，影像預處理是一個非常重要的步驟。由於影像的大小和格式可能會有所不同，因此需要對影像進行預處理，以便能夠將其餵入神經網路中進行訓練。

影像預處理的必要性

影像預處理的主要目的是將影像轉換為一個統一的格式，以便能夠進行批次處理。批次處理是指將多個影像封裝成一個批次，然後一次性地餵入神經網路中進行訓練。這樣可以提高訓練的效率和速度。

影像預處理的步驟

影像預處理的步驟包括以下幾個：

  1. 影像重塑：將影像重塑為統一的大小，例如 200 × 200 畫素。
  2. 影像正規化：將影像的 RGB 值正規化為 [0, 1] 的範圍內。

實作影像預處理

以下是使用 TensorFlow 實作影像預處理的例子：

import tensorflow as tf

# 定義影像大小
HEIGHT = 200
WIDTH = 200

# 定義預處理函式
def preprocess(img, label):
    """Resize and preprocess images."""
    return tf.image.resize(img, [HEIGHT, WIDTH]) / 255.0, label

# 對訓練資料進行預處理和批次處理
train_data = tfds.as_numpy(
    cats_dogs_data_train.map(preprocess).batch(32).prefetch(1)
)

# 對測試資料進行預處理和批次處理
test_data = tfds.as_numpy(
    cats_dogs_data_test.map(preprocess).batch(32).prefetch(1)
)

在這個例子中，preprocess 函式用於對影像進行重塑和正規化。然後，map 方法用於將預處理函式應用於每個影像，batch 方法用於將影像封裝成批次，prefetch 方法用於提前載入下一個批次的資料。

內容解密：

上述程式碼中，preprocess 函式是用於對影像進行預處理的。它首先使用 tf.image.resize 方法將影像重塑為統一的大小，然後使用 / 255.0 將 RGB 值正規化為 [0, 1] 的範圍內。然後，map 方法用於將預處理函式應用於每個影像，batch 方法用於將影像封裝成批次，prefetch 方法用於提前載入下一個批次的資料。

圖表翻譯：

  flowchart TD
    A[影像資料] --> B[預處理]
    B --> C[重塑]
    C --> D[正規化]
    D --> E[批次處理]
    E --> F[訓練]

這個流程圖展示了影像預處理和批次處理的過程。首先，影像資料被輸入到預處理函式中，然後進行重塑和正規化。接著，影像被封裝成批次，然後被餵入神經網路中進行訓練。

影像增強技術

在深度學習中，影像增強是一種重要的預處理步驟，可以增加模型的泛化能力和準確度。這裡，我們將探討如何使用 JAX 框架生成隨機噪聲並將其新增到影像中，以實作影像增強。

生成隨機噪聲

為了增加影像數量，我們可以將隨機噪聲新增到原始影像中。首先，我們需要生成一個與影像大小相同的噪聲張量。JAX 提供了一組豐富的函式，用於從不同分佈中生成隨機數字，包括 jax.random.normal() 函式，該函式可以生成標準高斯分佈（均值為 0，標準差為 1）的隨機變數。

載入影像

首先，我們載入一個影像並檢查其大小和畫素值範圍。

import jax
batch_images, batch_labels = next(iter(train_data))
image = batch_images[0]
print(image.shape)  # (200, 200, 3)
print(image.min(), image.max())  # (0.0, 1.0)

這裡，我們從訓練資料集中選取第一個批次的第一個影像。影像大小為 200x200 畫素，具有 3 個顏色通道。畫素值範圍從 0.0 到 1.0。

生成噪聲張量

接下來，我們生成一個噪聲張量，其大小與影像相同。

seed = 42
key = jax.random.PRNGKey(seed)
noise = jax.random.normal(key, image.shape)

這裡，我們使用 jax.random.normal() 函式生成一個標準高斯分佈的隨機噪聲張量。噪聲張量的大小與影像相同。

新增噪聲到影像

現在，我們可以將噪聲張量新增到原始影像中，以實作影像增強。

noisy_image = image + noise

這裡，我們簡單地將噪聲張量新增到原始影像中，得到一個新的噪聲影像。

顯示結果

最後，我們可以顯示原始影像和噪聲影像，以比較二者的差異。

import matplotlib.pyplot as plt
plt.imshow(image)
plt.show()
plt.imshow(noisy_image)
plt.show()

這裡，我們使用 Matplotlib 函式庫顯示原始影像和噪聲影像。

內容解密：

上述程式碼展示瞭如何使用 JAX 框架生成隨機噪聲並將其新增到影像中，以實作影像增強。這種技術可以增加模型的泛化能力和準確度。透過調整噪聲的強度和型別，可以實作不同的影像增強效果。

圖表翻譯：

以下是上述程式碼的 Mermaid 圖表：

  flowchart TD
    A[載入影像] --> B[生成噪聲張量]
    B --> C[新增噪聲到影像]
    C --> D[顯示結果]

這個圖表展示了上述程式碼的邏輯流程，從載入影像開始，到生成噪聲張量，新增噪聲到影像，最終顯示結果。

生成隨機資料與噪聲

在進行影像處理和分析時，生成隨機資料和噪聲是一個非常重要的步驟。這裡，我們將使用JAX函式庫來生成標準高斯噪聲，並將其轉換為具有特定均值和標準差的高斯噪聲。

首先，我們需要初始化一個隨機數生成器（PRNG）的金鑰（key）。這個金鑰是使用jax.random.PRNGKey()函式建立的，並需要一個64位或32位的整數作為種子。

import jax
import jax.numpy as jnp
import matplotlib.pyplot as plt

# 建立一個隨機數生成器的金鑰
key = jax.random.PRNGKey(0)

# 生成標準高斯噪聲
std_noise = jax.random.normal(key, (256, 256))
print("標準高斯噪聲的最小值和最大值：", std_noise.min(), std_noise.max())

# 將標準高斯噪聲轉換為具有特定均值和標準差的高斯噪聲
noise = 0.5 + 0.1 * std_noise
print("轉換後的高斯噪聲的最小值和最大值：", noise.min(), noise.max())

# 顯示生成的噪聲
plt.imshow(noise)
plt.show()

在上面的程式碼中，我們首先建立了一個隨機數生成器的金鑰，然後使用jax.random.normal()函式生成了一個標準高斯噪聲。接著，我們將這個標準高斯噪聲轉換為具有特定均值（0.5）和標準差（0.1）的高斯噪聲。最後，我們使用Matplotlib函式庫來顯示生成的噪聲。

需要注意的是，JAX函式庫的隨機數生成器需要一個金鑰來生成隨機資料。如果你使用相同的金鑰，則會生成相同的隨機資料。因此，在需要生成不同的隨機資料時，你需要使用不同的金鑰。

使用不同的金鑰生成不同的隨機資料

如果你需要生成不同的隨機資料，你可以使用不同的金鑰。下面的程式碼示範瞭如何使用不同的金鑰生成不同的隨機資料：

# 建立兩個不同的金鑰
key1 = jax.random.PRNGKey(0)
key2 = jax.random.PRNGKey(1)

# 使用不同的金鑰生成不同的隨機資料
noise1 = jax.random.normal(key1, (256, 256))
noise2 = jax.random.normal(key2, (256, 256))

# 顯示生成的噪聲
plt.subplot(1, 2, 1)
plt.imshow(noise1)
plt.title("Noise 1")
plt.subplot(1, 2, 2)
plt.imshow(noise2)
plt.title("Noise 2")
plt.show()

在上面的程式碼中，我們建立了兩個不同的金鑰key1和key2，然後使用這兩個金鑰生成了兩個不同的隨機資料noise1和noise2。最後，我們使用Matplotlib函式庫來顯示生成的噪聲。

透過使用不同的金鑰，你可以生成不同的隨機資料，這在很多應用中是非常有用的。

生成隨機資料

建立雜訊影像

為了生成一個雜訊影像，我們可以使用以下步驟：

  1. 首先，生成一個與原始影像大小相同的隨機雜訊矩陣。
  2. 然後，將原始影像與雜訊矩陣相加，得到一個新的影像。
  3. 由於相加後的影像值可能超出了 [0.0, 1.0] 的範圍，我們需要對新影像進行歸一化處理，以確保所有畫素值都在 [0.0, 1.0] 的範圍內。
import numpy as np
import matplotlib.pyplot as plt

# 原始影像
image = np.random.rand(256, 256)

# 生成雜訊矩陣
noise = np.random.randn(256, 256)

# 相加得到新影像
new_image = image + noise

# 歸一化新影像
new_image = (new_image - new_image.min()) / (new_image.max() - new_image.min())

# 顯示新影像
plt.imshow(new_image)
plt.show()

進行隨機增強

除了新增雜訊外，我們還可以對影像進行其他形式的隨機增強，例如水平翻轉。水平翻轉通常不會改變影像的語義，因此對於大多數影像來說都是安全的。然而，垂直翻轉可能會產生不自然的影像，如動物倒立等。

# 對影像進行水平翻轉
flipped_image = np.fliplr(new_image)

# 顯示翻轉後的影像
plt.imshow(flipped_image)
plt.show()

這些步驟可以幫助我們生成多樣化的影像資料，從而提高機器學習模型的泛化能力。接下來，我們將探討如何批次處理影像資料，並進一步瞭解 JAX 中的隨機數生成。

影像增強技術

影像增強是一種用於改善影像品質的技術，常見的影像增強方法包括新增噪聲和水平翻轉。以下將介紹如何實作這些方法。

新增噪聲

新增噪聲是一種常見的影像增強方法，透過在影像中新增隨機噪聲，可以增加影像的多樣性。以下是新增噪聲的程式碼實作：

import jax.numpy as jnp
import jax.random as random

def add_noise_func(image, rng_key):
    noise = 0.5 + 0.1 * random.normal(rng_key, image.shape)
    new_image = image + noise
    new_image = (new_image - new_image.min()) / (new_image.max() - new_image.min())
    return new_image

這個函式透過生成隨機噪聲並將其新增到影像中，然後對影像進行歸一化處理。

水平翻轉

水平翻轉是一種簡單的影像增強方法，透過將影像水平翻轉，可以增加影像的多樣性。以下是水平翻轉的程式碼實作：

def horizontal_flip_func(image, rng_key):
    return jnp.fliplr(image)

這個函式透過使用 jnp.fliplr 函式將影像水平翻轉。

隨機增強

現在，我們可以實作一個隨機增強函式，該函式可以隨機選擇新增噪聲或水平翻轉。以下是隨機增強函式的程式碼實作：

def random_augmentation(image, augmentations, rng_key):
    key1, key2 = random.split(rng_key)
    augmentation_index = random.randint(key=key1, minval=0, maxval=len(augmentations), shape=())
    augmented_image = jax.lax.switch(augmentation_index, augmentations, image, rng_key)
    return augmented_image

這個函式透過生成隨機索引並使用 jax.lax.switch 函式選擇增強方法，然後對影像進行增強。

內容解密：

上述程式碼實作了影像增強技術，包括新增噪聲和水平翻轉。新增噪聲函式透過生成隨機噪聲並將其新增到影像中，然後對影像進行歸一化處理。水平翻轉函式透過使用 jnp.fliplr 函式將影像水平翻轉。隨機增強函式透過生成隨機索引並使用 jax.lax.switch 函式選擇增強方法，然後對影像進行增強。

圖表翻譯：

以下是隨機增強函式的流程圖：

  flowchart TD
    A[開始] --> B[生成隨機索引]
    B --> C[選擇增強方法]
    C --> D[新增噪聲或水平翻轉]
    D --> E[歸一化處理]
    E --> F[輸出增強影像]

這個流程圖展示了隨機增強函式的執行流程，包括生成隨機索引、選擇增強方法、新增噪聲或水平翻轉、歸一化處理和輸出增強影像。

影像增強技術

影像增強是一種用於改善影像品質的技術，常見於電腦視覺和深度學習領域。以下是影像增強的基本流程和相關概念。

影像增強流程

影像增強的流程通常包括以下步驟：

  1. 影像預處理：對影像進行預處理，例如調整大小、裁剪等。
  2. 增強選擇：根據需要選擇合適的增強方式，例如水平翻轉、新增噪聲等。
  3. 增強應用：將選擇的增強方式應用於影像。
  4. 結果輸出：輸出增強後的影像。

增強方式

常見的影像增強方式包括：

  • 水平翻轉：將影像水平翻轉。
  • 新增噪聲：向影像新增隨機噪聲。
  • 旋轉：將影像旋轉一定角度。
  • 縮放：將影像縮放到一定大小。

實作影像增強

以下是使用Python實作影像增強的例子：

import numpy as np
import matplotlib.pyplot as plt
import jax
import jax.random as random

# 定義增強方式
def horizontal_flip(image, key):
    # 水平翻轉
    return np.fliplr(image)

def add_noise(image, key):
    # 新增噪聲
    noise = random.normal(key, image.shape)
    return image + noise

# 定義增強列表
augmentations = [horizontal_flip, add_noise]

# 定義隨機增強函式
def random_augmentation(image, augmentations, key):
    # 分割key
    key1, key2 = random.split(key)
    # 隨機選擇增強方式
    index = random.randint(key1, minval=0, maxval=len(augmentations))
    # 應用增強方式
    augmentation = augmentations[index]
    return augmentation(image, key2)

# 測試
image = np.random.rand(256, 256)
key = jax.random.PRNGKey(4242)
img = random_augmentation(image, augmentations, key)
plt.imshow(img)

結果分析

上述程式碼實作了影像增強的基本流程，包括水平翻轉和新增噪聲兩種增強方式。隨機增強函式可以根據需要選擇合適的增強方式，並將其應用於影像。結果輸出為增強後的影像。

內容解密

  • horizontal_flip 函式實作了水平翻轉，使用 np.fliplr 函式。
  • add_noise 函式實作了新增噪聲，使用 random.normal 函式生成隨機噪聲。
  • augmentations 列表包含了所有可用的增強方式。
  • random_augmentation 函式實作了隨機增強，使用 random.randint 函式選擇增強方式，並將其應用於影像。

圖表翻譯

  flowchart TD
    A[影像預處理] --> B[增強選擇]
    B --> C[增強應用]
    C --> D[結果輸出]

上述流程圖描述了影像增強的基本流程，包括影像預處理、增強選擇、增強應用和結果輸出。

隨機數生成在 JAX 中的應用

在深度學習中，隨機數生成是一個非常重要的組成部分。JAX 作為一個高效能的深度學習框架，提供了強大的隨機數生成能力。在這一章中，我們將探討 JAX 中的隨機數生成，包括其原理、應用以及與 NumPy 的差異。

JAX 中的隨機數生成

JAX 中的隨機數生成是根據 PRNG（Pseudo-Random Number Generator）實作的。PRNG 是一個演算法，根據初始種子值生成一系列看似隨機的數字。JAX 中的 PRNG 是一個高品質的隨機數生成器，可以用於各種應用，包括深度學習模型的初始化、資料增強等。

import jax
import jax.numpy as jnp

# 初始化一個隨機種子
key = jax.random.PRNGKey(0)

# 使用jax.random.normal()生成一個隨機數
random_number = jax.random.normal(key, (1,))

print(random_number)

在上面的例子中，我們首先初始化一個隨機種子 key，然後使用 jax.random.normal() 生成一個隨機數。這個隨機數可以用於各種應用，包括深度學習模型的初始化。

JAX 中的隨機數生成函式

JAX 中提供了多種隨機數生成函式，包括 jax.random.normal()、jax.random.uniform() 等。這些函式可以根據不同的需求生成不同的隨機數。

import jax
import jax.numpy as jnp

# 初始化一個隨機種子
key = jax.random.PRNGKey(0)

# 使用jax.random.normal()生成一個隨機數
random_number = jax.random.normal(key, (1,))

# 使用jax.random.uniform()生成一個隨機數
random_uniform = jax.random.uniform(key, (1,), minval=0, maxval=1)

print(random_number)
print(random_uniform)

在上面的例子中，我們使用 jax.random.normal() 和 jax.random.uniform() 生成了兩個不同的隨機數。

與 NumPy 的差異

NumPy 中也提供了隨機數生成函式，但是 JAX 中的隨機數生成函式與 NumPy 中的函式有所不同。JAX 中的隨機數生成函式是根據 PRNG 實作的，而 NumPy 中的函式是根據不同的演算法實作的。

import numpy as np

# 使用numpy.random.normal()生成一個隨機數
random_number = np.random.normal(0, 1, (1,))

print(random_number)

在上面的例子中，我們使用 numpy.random.normal() 生成了一個隨機數。這個函式與 JAX 中的 jax.random.normal() 生成的隨機數不同。

圖表翻譯：

  graph LR
    A[JAX] -->|使用PRNG|> B[隨機數生成]
    B -->|生成隨機數|> C[應用]
    C -->|使用於深度學習|> D[模型初始化]
    D -->|使用於資料增強|> E[資料增強]

在上面的圖表中，我們展示了 JAX 中的隨機數生成過程。JAX 使用 PRNG 生成隨機數，然後將這些隨機數應用於深度學習模型的初始化和資料增強等領域。

9.2.1 NumPy 隨機數生成原理

NumPy 中的隨機數生成過程相對簡單，您只需呼叫相關函式即可從不同分佈中取樣獲得隨機值，並指定所需的輸出形狀。重要的是，連續呼叫這些函式會傳回不同的值。下圖示範了 NumPy 中隨機數生成的過程。

呼叫隨機值生成函式 → 更新內部狀態 → 生成隨機值

隨機數生成過程

在 NumPy 中，隨機數的生成依賴於一個隨機數生成器（Random Number Generator, RNG）。這個生成器維護著一個內部狀態，每次呼叫隨機數生成函式時，這個狀態會被更新，以確保產生不同的隨機值。

舊版與新版 NumPy API

在舊版的 NumPy 中，您需要從 numpy.random 模組中呼叫方法來生成隨機數。然而，從 1.17 版本開始，NumPy 引入了一個新的 RNG 物件，您可以呼叫這個物件的方法來生成隨機數。以下示範了使用新舊兩種 API 來從常態分佈中生成隨機值的過程。

import numpy as np

# 使用新版 API 生成隨機值
new_vals = np.random.default_rng().normal(loc=0.5, scale=0.1, size=(3,5))

# 使用舊版 API 生成隨機值
old_vals = np.random.normal(loc=0.5, scale=0.1, size=(3,5))

內容解密：

上述程式碼片段展示瞭如何使用 NumPy 的新舊兩種 API 來生成隨機值。np.random.default_rng().normal() 函式使用新版 API 來生成一個 3x5 的矩陣，其中的值從常態分佈中取樣而來，平均值為 0.5，標準差為 0.1。相比之下，np.random.normal() 函式則使用舊版 API 來實作相同的功能。

圖表翻譯：

  flowchart TD
    A[呼叫隨機值生成函式] --> B[更新內部狀態]
    B --> C[生成隨機值]
    C --> D[傳回隨機值]

上述流程圖描述了 NumPy 中的隨機數生成過程。首先，呼叫隨機值生成函式；然後，更新內部狀態以確保產生不同的隨機值；接著，根據指定的分佈和引數生成隨機值；最後，傳回所生成的隨機值。這個過程保證了每次呼叫函式時都會得到不同的結果。

生成隨機資料與 NumPy 之間的差異

在進行資料分析和科學計算時，能夠生成隨機資料是一個非常重要的功能。NumPy 作為一個強大的數值計算函式庫，提供了豐富的隨機資料生成功能。在這篇文章中，我們將探討使用 NumPy 生成隨機資料的方法，並與其他方法進行比較。

使用 NumPy 生成隨機資料

NumPy 提供了 numpy.random 模組來生成隨機資料。這個模組中有許多函式可以用來生成不同分佈的隨機資料，例如均勻分佈、正態分佈等。下面是一個簡單的例子，展示如何使用 default_rng 來生成隨機資料：

from numpy.random import default_rng

rng = default_rng()

# 生成 3x5 的隨機矩陣，均值為 0.5，標準差為 0.1
vals = rng.normal(loc=0.5, scale=0.1, size=(3,5))
print(vals)

# 再次生成 3x5 的隨機矩陣，均值為 0.5，標準差為 0.1
more_vals = rng.normal(loc=0.5, scale=0.1, size=(3,5))
print(more_vals)

這個例子中，我們使用 default_rng 來建立一個隨機數生成器，然後使用 normal 方法生成兩個 3x5 的隨機矩陣。這兩個矩陣的均值都是 0.5，標準差都是 0.1。

內容解密：

  • default_rng 是 NumPy 中的一個函式，傳回一個隨機數生成器。
  • normal 方法用於生成正態分佈的隨機資料。
  • loc 引數指定了正態分佈的均值。
  • scale 引數指定了正態分佈的標準差。
  • size 引數指定了要生成的資料的形狀。

Mermaid 圖表：NumPy 隨機資料生成流程

  flowchart TD
    A[開始] --> B[建立隨機數生成器]
    B --> C[設定分佈引數]
    C --> D[生成隨機資料]
    D --> E[傳回結果]

圖表翻譯：

這個 Mermaid 圖表展示了使用 NumPy 生成隨機資料的流程。首先，我們建立一個隨機數生成器，然後設定分佈引數（例如均值和標準差），接著生成隨機資料，最後傳回結果。

從效能最佳化視角來看，深度學習中的影像預處理和增強技術對於提升模型訓練效率和泛化能力至關重要。分析段落中提到的影像重塑、正規化、新增噪聲、水平翻轉等操作，有效地控制了輸入資料的維度和分佈，減少了模型的計算負擔，同時也增加了資料的多樣性，避免過擬合。技術限制深析顯示，雖然影像增強技術能提升模型的泛化能力，但過度增強也可能引入新的噪聲或破壞影像的原始資訊，需要謹慎選擇增強方法和引數。實務落地分析表明，JAX 框架提供的高效隨機數生成和向量化運算能力，顯著提升了影像預處理和增強的效率。展望未來，隨著深度學習模型的日益複雜化和資料量的爆炸式增長，更高效、更智慧的影像預處理和增強技術將成為模型訓練的關鍵環節。玄貓認為，深入理解和熟練運用這些技術，才能最大限度地釋放深度學習模型的潛力。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。