Transformer 模型最初應用於自然語言處理領域，但其強大的能力使其逐漸被應用於時間序列分析。Transformer 模型的核心在於自注意力機制，它能夠捕捉資料中的長期依賴性，這對於時間序列資料尤為重要。時間序列資料通常具有時間上的相關性，例如股票價格、天氣資料等，Transformer 模型能夠有效地學習這些資料中的模式。編碼器部分負責將輸入的時間序列資料轉換為隱藏狀態表示，其中每個隱藏狀態都包含了輸入序列中所有時間步的資訊。解碼器部分則利用這些隱藏狀態生成輸出序列，例如預測未來時間步的值。自注意力機制是 Transformer 模型的核心，它允許模型在處理每個時間步時考慮所有其他時間步的資訊，從而捕捉資料中的長期依賴性。位置編碼則為模型提供了時間步的順序資訊，這對於時間序列資料至關重要。多頭自注意力機制和前饋神經網路是 Transformer 模型中的重要元件，它們共同作用以提取資料中的複雜模式。層正規化和殘差連線等技術則有助於提升模型的訓練穩定性和效能。
Transformer 應用於時間序列
本章目標：瞭解如何利用不同型別的 Transformer 模型解決時間序列問題
在前一章節中，我們探討了各種神經網路架構並在實際案例中應用。本章節將聚焦於拆解 Transformer 架構及其應用於時系列問題。
Transformer 的基本概念
Transformer 初次發表於“Attention Is All You Need”論文中，這篇論文顯著地改變了自然語言處理（NLP）領域。隨著時日推移，Transformer 模型已被廣泛應用於電腦視覺、音訊處理、生物資訊學及金融等多個領域。本章節將探討 Transformer 的核心概念及其如何被應用到時系列分析中。
Transformer 架構概述
Transformer 架構主要由 Encoder 和 Decoder 組成，兩者皆採用多層自注意力機制及全連線層來處理輸入資料：
Encoder 與 Decoder
Encoder 負責將輸入資料轉換為隱藏狀態表示；Decoder 則利用這些隱藏狀態表示來生成輸出結果：
graph TD;
A[輸入嵌入] --> B[位置編碼];
B --> C[多頭自注意力];
C --> D[前饋全連線層];
D --> E[Encoder 最終輸出];
E --> F[Decoder 輸入];
此圖示展示了 Transformer 架構：A代表輸入嵌入；B代表位置編碼；C代表多頭自注意力；D代表前饋全連線層；E代表 Encoder 最終輸出；F代表 Decoder 輸入。
辨識重要元素
- Input Embedding：將原始文字轉換成適合模型處理之數值化格式。
- Positional Encoding：藉由指派唯一識別符號給句子中的每個詞語以保留詞語順序資訊。
- Multi-Head Attention：使用多重頭部注意力機制以同時捕捉不同位置特徵之間關聯性。
- Feed-Forward Network：對每個位置上的向量進行線性轉換以取得最終輸出表示。
時序資料中的轉換器架構
在時序資料分析中，轉換器（Transformer）架構已經成為一個強大的工具，能夠有效地捕捉資料中的長期依賴性。轉換器主要由編碼器（Encoder）和解碼器（Decoder）組成，並且利用自注意力機制（Self-Attention Mechanism）來處理資料。以下將探討轉換器的核心元件及其應用。
編碼器
編碼器是轉換器架構中的關鍵部分，它由多個相同的層組成。每一層包含多頭自注意力機制（Multi-Head Self-Attention）和點狀全連線前馳神經網路（Point-wise Fully Connected Feedforward Network）。這些層之間使用殘差連線（Residual Connections）和層正規化（Layer Normalization）來提升訓練穩定性。
位置編碼
為了幫助模型理解資料中的順序資訊，我們需要對輸入進行位置編碰。位置編碼可以是正弦或餘弦函式，這些函式的頻率各不相同，可以幫助模型區分不同位置的特徵。
例如：
def positional_encoding(seq_len, d_model):
pos = np.arange(seq_len)[:, np.newaxis]
i = np.arange(d_model)[np.newaxis, :]
angle_rates = 1 / np.power(10000, (2 * (i // 2)) / np.float32(d_model))
pos_enc = pos * angle_rates
pos_enc[:, 0::2] = np.sin(pos_enc[:, 0::2])
pos_enc[:, 1::2] = np.cos(pos_enc[:, 1::2])
return pos_enc
內容解密：
上述程式碼定義了一個位置編碼函式 positional_encoding，該函式生成一個位置編碼矩陣。seq_len 是輸入序列的長度，d_model 是嵌入維度。這個函式使用正弦和餘弦函式來生成不同頻率的位置編碼，並將其應用於每個位置的特徵向量中。這樣可以幫助模型理解不同位置的特徵之間的關係。
自注意力機制
自注意力機制允許模型在輸入序列中同時處理多個特徵。它透過計算查詢（Query）、鍵（Key）和值（Value）之間的相似度來生成權重，從而聚合相關資訊。
放縮點積注意力
放縮點積注意力是自注意力機制的一種實作方式，它透過計算查詢和鍵之間的點積來計算相似度，然後使用軟最大化函式來生成權重。放縮操作可以防止點積過大，從而避免梯度消失問題。
def scaled_dot_product_attention(query, key, value, mask):
matmul_qk = np.matmul(query, key.transpose(-2, -1))
dk = query.shape[-1]
scaled_attention_logits = matmul_qk / np.sqrt(dk)
if mask is not None:
scaled_attention_logits += (mask * -1e9)
attention_weights = softmax(scaled_attention_logits, axis=-1)
output = np.matmul(attention_weights, value)
return output
內容解密：
上述程式碼定義了一個放縮點積注意力函式 scaled_dot_product_attention。該函式接收查詢、鍵和值作為輸入，並計算它們之間的相似度。matmul_qk 是查詢和鍵之間的矩陣乘法結果，dk 是鍵的維度。scaled_attention_logits 是放縮後的相似度得分，mask 用於遮蔽未來的時間步。最終，使用軟最大化函式生成權重，並透過加權和來聚合值向量。
多頭自注意力
多頭自注意力機制允許模型同時關注不同部分的輸入序列。它透過將查詢、鍵和值分別投影到多個子空間中，並分別計算自注意力得分，最後將結果拼接起來。
class MultiHeadAttention(tf.keras.layers.Layer):
def __init__(self, d_model, num_heads):
super(MultiHeadAttention, self).__init__()
self.num_heads = num_heads
self.d_model = d_model
assert d_model % self.num_heads == 0
self.depth = d_model // self.num_heads
self.wq = tf.keras.layers.Dense(d_model)
self.wk = tf.keras.layers.Dense(d_model)
self.wv = tf.keras.layers.Dense(d_model)
self.dense = tf.keras.layers.Dense(d_model)
def split_heads(self, x, batch_size):
x = tf.reshape(x, (batch_size, -1, self.num_heads, self.depth))
return tf.transpose(x, perm=[0, 2, 1, 3])
def call(self, v, k, q, mask):
batch_size = tf.shape(q)[0]
q = self.wq(q)
k = self.wk(k)
v = self.wv(v)
q = self.split_heads(q, batch_size)
k = self.split_heads(k, batch_size)
v = self.split_heads(v, batch_size)
scaled_attention = scaled_dot_product_attention(q, k, v, mask)
scaled_attention = tf.transpose(scaled_attention,
perm=[0, 2, 1, 3])
concat_attention = tf.reshape(scaled_attention,
(batch_size,
-1,
self.d_model))
output = self.dense(concat_attention)
return output
內容解密：
上述程式碼定義了一個多頭自注意力層 MultiHeadAttention。該層首先將查詢、鍵和值分別投影到多個子空間中，然後將它們分割成多個頭部。split_heads 函式將投影後的向量重新塑形並轉置以便進行自注意力計算。最後，將各個頭部的結果拼接起來並透過一個全連線層進行線性變換。
前馳神經網路
前馳神經網路在每個位置上應用相同的全連線層，並且每個層之間使用ReLU啟用函式。
def feedforward_network(x):
return tf.keras.Sequential([
tf.keras.layers.Dense(512,
activation='relu'),
tf.keras.layers.Dense(d_model)])
內容解密：
上述程式碼定義了一個前馳神經網路層 feedforward_network。該層首先應用一個全連線層並使用ReLU啟用函式，然後再應用一個全連線層以還原原始維度。
層正規化與殘差連線
層正規化和殘差連線是用來穩定和改善深度神經網路訓練效能的技術。層正規化在每一層之前進行標準化處理，而殘差連線則允許梯度直接流向前面的層。
class LayerNormalization(tf.keras.layers.Layer):
def __init__(self,
epsilon=1e-6):
super(LayerNormalization,
self).__init__()
self.epsilon=epsilon
self.alpha=tf.Variable(
initial_value=tf.ones(
shape=(d_model)),
trainable=True)
self.beta=tf.Variable(
initial_value=tf.zeros(
shape=(d_model)),
trainable=True)
def call(self,x):
mean=tf.reduce_mean(x,
axis=-1,
keepdims=True)
std=tf.math.reduce_std(x,
axis=-1,
keepdims=True)
return self.alpha*(x-mean)/(
std+self.epsilon)+self.beta
內容解密：
上述程式碼定義了一個層正規化層 LayerNormalization。該層計算輸入向量的均值和標準差，然後進行標準化處理。最後透過學習到的引數 alpha 和 beta 對標準化後的結果進行調整。
隨著時間序列預測需求不斷增加及技術不斷發展進步，轉換器架構會持續受到廣泛應用與深入研究。未來可探索更多最佳化方法如旋轉式位置編碼、減少計算複雜度等以提升實際應用效能。
小段落標題
此圖示展示了「原始Transformer」架構圖：
graph TD; A[Input Embedding] --> B[Positional Encoding]; B --> C[Encoder]; C --> D[Decoder]; D --> E[Output]; subgraph Encoder Layer; F[Multi-Head Self-Attention]; G[Add & Norm]; H[Feedforward Network]; I[Add & Norm]; end; subgraph Decoder Layer; J[Masked Multi-Head Self-Attention]; K[Add & Norm]; L[Encoder-Decoder Attention]; M[Add & Norm]; N[Feedforward Network]; O[Add & Norm]; end; C -.-> F; F --> G; G --> H; H --> I; I --> C; D -.-> J; J --> K; K --> L; L --> M; M --> N; N --> O; O --> D;
小段落標題
此圖示展示了「Transformer」架構圖：
graph TD; A[Input Embedding] --> B[Positional Encoding]; B --> C[Encoder Stack]; C -.-> D[Multi-Head Self-Attention]; D -.-> E[Add & Norm]; E -.-> F[Feedforward Network]; F -.-> G[Add & Norm]; G -.-> H[Decoder Stack]; H -.-> I[Masked Multi-Head Self-Attention]; I -.-> J[Add & Norm]; J -.-> K[Encoder-Decoder Attention]; K -.-> L[Add & Norm]; L -.-> M[Feedforward Network]; M -.-> N[Add & Norm]; N -> O [Output Layer];
小段落標題
以上圖示詳細說明瞭「Transformer」架構如何透過多頭自注意力機制、前馳神經網路、以及殘差連線等技術手段來處理時間序列資料。
