卷積神經網路核心技術：卷積與池化運算詳解

– 13 分鐘閱讀

卷積神經網路（CNN）在影像處理領域展現出卓越的效能，其核心在於卷積和池化運算。卷積運算透過滑動視窗機制，利用核矩陣提取影像區域性特徵，生成特徵圖譜。有效填充和相同填充是兩種常見的卷積方式，前者輸出尺寸縮小，後者保持輸入尺寸不變。池化層則進一步降低特徵圖譜的維度，減少計算量並提升模型魯棒性。常見的池化方法包括最大值池化、平均值池化等，它們分別提取區域性區域的最大值或平均值，有效保留關鍵特徵並減少雜訊幹擾。啟用函式則為網路引入非線性，提升模型的表達能力，常見的有 Sigmoid、Tanh、ReLU 等，其中 ReLU 及其變體因其高效性和避免梯度消失問題而被廣泛應用。

卷積神經網路中的卷積運算

在深度學習中，卷積神經網路（Convolutional Neural Network, CNN）是一種常用的神經網路架構，特別是在影像和視覺任務中。其中，卷積運算是CNN的核心組成部分，負責提取輸入資料中的區域性特徵。

輸入影像矩陣

輸入影像矩陣是一個二維陣列，代表影像的畫素值。每個元素在矩陣中代表影像中的一個畫素。

卷積運算

卷積運算是一種將輸入影像矩陣與一個小的矩陣（稱為核或濾波器）進行滑動視窗運算的過程。這個過程會產生一個新的矩陣，稱為特徵對映（Feature Map）。

有效填充（Valid）

在有效填充中，輸入影像的邊界不會被填充任何值。因此，輸出特徵對映的大小會小於輸入影像的大小。

填充（Same）

在同等填充中，輸入影像的邊界會被填充零值，以使得輸出特徵對映的大小與輸入影像相同。

核矩陣

核矩陣是一個小的矩陣，定義了卷積運算的權重。核矩陣會與輸入影像矩陣進行滑動視窗運算，以提取區域性特徵。

特徵對映

特徵對映是卷積運算的輸出結果，代表輸入影像中的區域性特徵。特徵對映可以用於下游任務，如分類、檢測等。

範例

假設我們有一個輸入影像矩陣如下：

0 1 1 0 0
1 0 1 1 0
0 0 1 1 1
1 1 0 0 1
1 1 1 0 0

以及一個核矩陣如下：

1 0 1
0 1 0
1 0 1

進行卷積運算後，產生的特徵對映如下：

2 3 4
3 3 3
4 2 3

這個過程展示瞭如何使用卷積運算提取輸入影像中的區域性特徵。

圖表翻譯：

此圖示展示了卷積運算的過程，包括輸入影像矩陣、核矩陣和特徵對映。圖中可以看到，核矩陣與輸入影像矩陣進行滑動視窗運算，產生特徵對映。這個過程是CNN中非常重要的一部分，用於提取輸入資料中的區域性特徵。

  flowchart TD
    A[輸入影像矩陣] --> B[核矩陣]
    B --> C[卷積運算]
    C --> D[特徵對映]
    D --> E[下游任務]

此圖表展示了卷積運算的流程，從輸入影像矩陣到特徵對映的產生。

非線性對映層

在這個章節中，我們將介紹用於影像隱寫分析任務的非線性啟用函式。啟用函式的選擇對深度神經網路的訓練時間和應用效能有著重大的影響。它限制輸出的範圍以減少計算複雜度，並在資料集中新增非線性，使其能夠學習任何連續函式。啟用函式可以分為線性和非線性函式。現代深度學習模型使用非線性啟用函式，因為它們能夠學習具有高維度的資料集的複雜依賴關係。

Sigmoid/Logistic 函式

Sigmoid 函式是一個 S 型的連續和可微分的函式，它限制輸出在 0 和 1 之間。由於其輸出的範圍，Sigmoid 函式常用於軟分類問題（即輸出預測為機率值）。它的數學表示式為：

$$ \text{sigmoid}(x) = \frac{e^x}{1 + e^x} $$

已經觀察到，如果輸入值太高或太低，梯度幾乎為零，從而導致預測輸出不變。

ReLU 函式

ReLU（修正線性單元）函式是一個非線性啟用函式，它將所有負值對映為 0，所有正值保持不變。它的數學表示式為：

$$ \text{ReLU}(x) = \max(0, x) $$

ReLU 函式的優點是計算簡單，梯度容易計算。但是，它也有一個缺點，就是當輸入值為負時，梯度為 0，從而導致神經元「死」掉。

Tanh 函式

Tanh 函式是一個 S 型的連續和可微分的函式，它限制輸出在 -1 和 1 之間。它的數學表示式為：

$$ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$

Tanh 函式的優點是輸出範圍在 -1 和 1 之間，這對於某些應用是有用的。但是，它也有一個缺點，就是計算複雜度高於 Sigmoid 函式。

Softmax 函式

Softmax 函式是一個非線性啟用函式，它將輸入值對映為機率值。它的數學表示式為：

$$ \text{softmax}(x) = \frac{e^x}{\sum_{i=1}^n e^{x_i}} $$

Softmax 函式的優點是輸出範圍在 0 和 1 之間，並且所有輸出值的總和為 1。它常用於多分類問題。

卷積神經網路中的填充運算

在卷積神經網路中，填充運算是一種重要的技術，用於處理邊緣畫素的特徵提取。填充運算的基本思想是向輸入影像的四周新增一層零值，從而使得卷積核可以在影像的邊緣進行滑動。

填充運算的過程

填充運算的過程可以分為以下幾步：

  1. 新增零值層：向輸入影像的四周新增一層零值，形成一個新的影像。
  2. 卷積運算：使用卷積核對新的影像進行卷積運算，提取特徵。
  3. 啟用函式：使用啟用函式對提取的特徵進行非線性變換。

填充運算的優點

填充運算有以下幾個優點：

  1. 避免邊緣效應：填充運算可以避免邊緣效應，保證卷積核可以在影像的邊緣進行滑動。
  2. 提高特徵提取能力：填充運算可以提高特徵提取能力，保證網路可以學習到更多的特徵。
  3. 加速網路收斂：填充運算可以加速網路收斂，避免梯度消失問題。

填充運算的實作

填充運算可以使用以下程式碼實作：

import numpy as np

def padding(image, kernel_size):
    """
    對輸入影像進行填充運算。

    Args:
        image (numpy.ndarray): 輸入影像。
        kernel_size (int): 卷積核大小。

    Returns:
        numpy.ndarray: 填充後的影像。
    """
    # 新增零值層
    padded_image = np.zeros((image.shape[0] + 2, image.shape[1] + 2))
    padded_image[1:-1, 1:-1] = image

    return padded_image

# 範例使用
image = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
kernel_size = 3
padded_image = padding(image, kernel_size)
print(padded_image)

非線性啟用函式在深度學習中的應用

在深度學習中，非線性啟用函式是神經網路中的一個關鍵元件，負責引入非線性，使得模型能夠學習和表示複雜的關係。其中，Hyperbolic tangent (tanh) 是一種常見的非線性啟用函式，具有零中心的非線性輸出，範圍在 -1 到 +1 之間。然而，tanh 函式存在梯度消失問題，且計算成本較高。

為了克服這些問題，現代深度學習系統傾向於使用更深的網路結構，以捕捉特徵之間更複雜的統計依賴關係，並採用非飽和的非線性啟用函式，如 Rectified Linear Unit (ReLU) 和其變體。ReLU 函式及其變體已被廣泛應用於根據卷積神經網路 (CNN) 的影像隱寫分析任務中。

ReLU 和其變體

ReLU 是最常用的非線性啟用函式之一，尤其是在影像隱寫分析任務中。然而，ReLU 也存在一些問題，例如當輸入為負時，ReLU 的輸出為 0，導致梯度消失問題。為瞭解決這個問題，研究人員提出了 ReLU 的變體，包括：

  • Leaky ReLU：Leaky ReLU 是 ReLU 的變體，允許一部分的梯度在負輸入上傳播。它的公式為：

$$ \text{Leaky ReLU}(x) = \begin{cases} x & \text{if } x \geq 0 \ ax & \text{if } x < 0 \end{cases} $$

其中，$a$ 是一個常數，範圍在 $(0, 1]$ 之間。

  • Parametric ReLU (PReLU)：PReLU 是另一個 ReLU 的變體，它引入了一個可學習的引數，使得模型能夠自適應地調整啟用函式的形狀。
  • Randomized ReLU (RReLU)：RReLU 是 PReLU 的變體，它在訓練過程中隨機化啟用函式的引數，以增加模型的多樣性。
  • Exponential Linear Unit (ELU)：ELU 是另一種非線性啟用函式，它的輸出範圍在 $(-\infty, 1]$ 之間。
  • Scaled Exponential Linear Unit (SELU)：SELU 是 ELU 的變體，它引入了一個可學習的引數，以調整啟用函式的形狀。
  • Softplus：Softplus 是另一種非線性啟用函式，它的輸出範圍在 $(0, \infty)$ 之間。

這些變體的啟用函式都旨在解決 ReLU 的梯度消失問題和增加模型的表達能力。透過選擇適合的啟用函式，模型可以更好地學習和表示複雜的關係。

啟動神經網路的活化函式

活化函式是神經網路中的一個重要元件，負責將輸入的線性組合轉換為非線性的輸出。這使得神經網路能夠學習和表示更複雜的關係。

PReLU 函式

PReLU（Parametric ReLU）是一種可學習的活化函式，根據輸入的值進行調整。其函式定義為：

$$ PReLU(x) = \begin{cases} x, & \text{if } x \geq 0 \ ax, & \text{if } x < 0 \end{cases} $$

其中，$a$ 是一個可學習的引數。當 $a$ 固定為 0.01 時，PReLU 函式就變成了 Leaky ReLU 函式。這種函式用於解決死神經元的問題。

RReLU 函式

RReLU（Randomized ReLU）是一種隨機化的活化函式，其函式定義為：

$$ RReLU(x) = \begin{cases} x, & \text{if } x \geq 0 \ ax, & \text{if } x < 0 \end{cases} $$

其中，$a$ 是從區間 $[l, u]$ 中隨機抽取的值，且 $l < u$ 且 $l, u \in [0, 1]$。

Softplus 函式

Softplus 函式是一種平滑版本的 ReLU 函式，其輸出範圍為 $[0, +\infty)$。這種函式有助於加速神經網路的收斂速度。其函式定義為：

$$ f(x) = \log(1 + e^x) $$

ELU 函式

ELU（Exponential Linear Unit）是一種允許負輸入值的活化函式，其函式定義為：

$$ ELU(x) = \begin{cases} x, & \text{if } x \geq 0 \ \alpha (e^x - 1), & \text{if } x < 0 \end{cases} $$

其中，$\alpha$ 是一個超引數。ELU 函式能夠使得輸出均值接近於零，這有助於加速神經網路的訓練速度。同時，ELU 函式對於小輸入值的收斂速度也更快。

內容解密：

上述的活化函式都是用於神經網路中，以增加模型的非線性和表達能力。每種活化函式都有其優缺點，需要根據具體的問題和模型進行選擇。

import numpy as np

def prelu(x, a):
    return np.where(x >= 0, x, a * x)

def rrelu(x, a):
    return np.where(x >= 0, x, a * x)

def softplus(x):
    return np.log(1 + np.exp(x))

def elu(x, alpha):
    return np.where(x >= 0, x, alpha * (np.exp(x) - 1))

# 測試活化函式
x = np.array([-1, 0, 1])
print(prelu(x, 0.01))
print(rrelu(x, 0.5))
print(softplus(x))
print(elu(x, 1.0))

圖表翻譯：

以下是活化函式的視覺化圖表：

  flowchart TD
    A[輸入] --> B[活化函式]
    B --> C[ReLU]
    B --> D[Leaky ReLU]
    B --> E[Softplus]
    B --> F[ELU]
    C --> G[非線性輸出]
    D --> G
    E --> G
    F --> G

這個圖表展示了不同活化函式的輸入和輸出關係。每個活化函式都有其特定的輸出範圍和非線性特性。

啟用函式在神經網路中的應用

在神經網路中，啟用函式（Activation Function）扮演著非常重要的角色。它們負責將神經元的輸出轉換為非線性的形式，以便網路能夠學習和代表更複雜的關係。以下將介紹幾種常見的啟用函式，包括其數學表示式和優缺點。

1. Sigmoid 函式

Sigmoid 函式是一種常見的啟用函式，尤其是在早期的神經網路中。它的數學表示式為：

$$ \sigma(x) = \frac{1}{1 + e^{-x}} $$

Sigmoid 函式的輸出範圍在 (0, 1) 之間，對於二元分類問題非常有用。然而，它存在梯度消失的問題，尤其是當輸入值很大或很小時，導致訓練過程變得緩慢。

2. Tanh 函式

Tanh 函式是另一種常見的啟用函式，與 Sigmoid 函式相似，但輸出範圍在 (-1, 1) 之間。它的數學表示式為：

$$ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$

Tanh 函式也存在梯度消失的問題，但在某些情況下比 Sigmoid 函式表現更好。

3. ReLU 函式

ReLU（Rectified Linear Unit）函式是一種廣泛使用的啟用函式，尤其是在深度神經網路中。它的數學表示式為：

$$ ReLU(x) = \begin{cases} x, & \text{if } x > 0 \ 0, & \text{if } x \leq 0 \end{cases} $$

ReLU 函式的優點在於它可以加速神經網路的訓練過程，因為它不會使梯度消失。但是，它存在「死神經元」問題，即當輸入值為負時，神經元的輸出始終為 0，導致網路無法學習。

4. Leaky ReLU 函式

Leaky ReLU 函式是對 ReLU 函式的改進，旨在解決「死神經元」問題。它的數學表示式為：

$$ LeakyReLU(x) = \begin{cases} x, & \text{if } x > 0 \ \alpha x, & \text{if } x \leq 0 \end{cases} $$

其中，(\alpha) 是一個小的正值。Leaky ReLU 函式允許對於負輸入值有一個小的非零梯度，從而避免了「死神經元」問題。

5. Parametric ReLU (PReLU) 函式

PReLU 函式是 Leaky ReLU 函式的一種變體，它的 (\alpha) 值不再是固定的，而是透過訓練過程學習得到的。這使得 PReLU 函式更加靈活，可以根據具體的資料集進行調整。

6. Randomized Leaky ReLU (RReLU) 函式

RReLU 函式是 Leaky ReLU 函式的一種隨機版本，它在訓練過程中隨機選擇 (\alpha) 值。這增加了模型的多樣性，有助於避免過度擬合。

啟用函式的多樣性

在神經網路中，啟用函式（Activation Function）扮演著非常重要的角色。它們負責將神經元的輸出轉換為非線性輸出，從而使神經網路能夠學習和表示更複雜的模式。以下將介紹幾種常見的啟用函式。

1. Scaled Exponential Linear Unit (SELU)

SELU是一種自我正規化的啟用函式，它可以處理正負數輸入，並且具有飽和區域，可以減少高變異性和增加變異性。SELU的數學表示式為：

SELU(x) = λ * (x if x > 0 else α * (e^x - 1))

其中，λ和α是超引數，通常初始化為0.1和0.3。

2. Swish

Swish是一種平滑、非單調和自我閘控的啟用函式，它的數學表示式為：

Swish(x) = x * sigmoid(x)

Swish的平滑曲線可以被解釋為它在所有點都可導，並且沒有突然的方向改變，從而有助於模型的最佳化。Swish的非單調性意味著它在不同的輸入區間上可能會增加和減少，而自我閘控特性意味著它只需要單個標量輸入。

3. Maxout

Maxout是一種簡單的啟用函式，它的數學表示式為：

Maxout(x) = max(w1 * x + b1, w2 * x + b2)

其中，w1、w2、b1和b2是權重和偏差。

4. Leaky ReLU

Leaky ReLU是一種改進的ReLU啟用函式，它的數學表示式為：

Leaky ReLU(x) = x if x > 0 else α * x

其中，α是超引數，通常初始化為0.1。

5. ELU

ELU是一種改進的ReLU啟用函式，它的數學表示式為：

ELU(x) = x if x > 0 else α * (e^x - 1)

其中，α是超引數，通常初始化為0.1。

內容解密：

啟用函式是神經網路中的一個重要組成部分，它們負責將神經元的輸出轉換為非線性輸出。不同的啟用函式具有不同的特性和優缺點，選擇合適的啟用函式可以提高神經網路的學習能力和泛化能力。SELU、Swish、Maxout、Leaky ReLU和ELU都是常見的啟用函式，它們可以根據具體的應用需求進行選擇和調整。

圖表翻譯：

  graph LR
    A[輸入] --> B[啟用函式]
    B --> C[輸出]
    C --> D[神經網路]
    D --> E[學習和泛化]

這個圖表展示了啟用函式在神經網路中的作用。輸入資料經過啟用函式的轉換，然後輸出到神經網路中，最終實作學習和泛化的功能。

濾波層在影像隱寫分析中的應用

在影像隱寫分析中，濾波層（Pooling Layer）是一種重要的技術，用於降低影像的維度，減少計算複雜度。濾波層的主要目的是提取影像中的重要特徵，同時消除不重要的資訊。

最大值濾波（Max Pooling）

最大值濾波是一種常用的濾波方法，它可以提取影像中的最大值。最大值濾波可以分為區域性最大值濾波和全域性最大值濾波。區域性最大值濾波是指在一個小的視窗中提取最大值，而全域性最大值濾波是指在整個影像中提取最大值。

例如，假設我們有一個 2x2 的視窗，視窗中的值分別為 10、16、20 和 3。最大值濾波會提取視窗中的最大值，即 20。

最小值濾波（Min Pooling）

最小值濾波是一種濾波方法，它可以提取影像中的最小值。最小值濾波可以分為區域性最小值濾波和全域性最小值濾波。區域性最小值濾波是指在一個小的視窗中提取最小值，而全域性最小值濾波是指在整個影像中提取最小值。

例如，假設我們有一個 2x2 的視窗，視窗中的值分別為 2、3、5 和 4。最小值濾波會提取視窗中的最小值，即 2。

平均值濾波（Average Pooling）

平均值濾波是一種濾波方法，它可以提取影像中的平均值。平均值濾波可以分為區域性平均值濾波和全域性平均值濾波。區域性平均值濾波是指在一個小的視窗中提取平均值，而全域性平均值濾波是指在整個影像中提取平均值。

例如，假設我們有一個 2x2 的視窗，視窗中的值分別為 10、16、20 和 3。平均值濾波會提取視窗中的平均值，即 (10+16+20+3)/4 = 12.25。

隨機濾波（Stochastic Pooling）

隨機濾波是一種濾波方法，它可以提取影像中的隨機值。隨機濾波可以分為區域性隨機濾波和全域性隨機濾波。區域性隨機濾波是指在一個小的視窗中提取隨機值，而全域性隨機濾波是指在整個影像中提取隨機值。

例如，假設我們有一個 2x2 的視窗，視窗中的值分別為 10、16、20 和 3。隨機濾波會提取視窗中的隨機值，例如 16。

從技術架構視角來看，卷積運算、填充運算、以及各式各樣的啟用函式和池化層，共同構成了卷積神經網路 (CNN) 的基本，賦予其在影像處理領域強大的特徵提取和學習能力。分析比較不同填充策略（如 Valid 和 Same）的影響，以及各種啟用函式（Sigmoid、ReLU、tanh、Softmax 等）的特性及侷限性，可以發現，選擇合適的組態對於模型效能至關重要。例如，ReLU 緩解了梯度消失問題，但衍生出「死亡神經元」；而 PReLU 和 RReLU 等變體則試圖克服此限制。池化層則進一步降低維度並提取關鍵特徵，最大值、平均值和隨機池化各有千秋。技術限制深析顯示，儘管 CNN 架構不斷精進，例如 SELU 和 Swish 等新型啟用函式的出現，但如何針對特定任務選擇最佳的啟用函式和池化策略仍是一項挑戰。玄貓認為，隨著研究的深入和更多實戰案例的累積，CNN 在影像隱寫分析等領域的應用將更加成熟和精準，未來的發展將聚焦於更高效的架構設計、更具解釋性的模型以及更廣泛的跨領域應用。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。