WaveNet 模型應用於時間序列預測技術探討

– 8 分鐘閱讀

深度學習技術在時間序列預測領域展現出顯著的優勢，WaveNet 模型因其獨特的架構設計，能有效捕捉資料中的長期依賴關係。WaveNet 模型的核心概念是利用擴張卷積，擴大感受野，從而學習更長時間跨度的模式。此外，殘差連線的引入有助於解決深度網路訓練中的梯度消失問題，提升模型效能。AutoGluon 框架的出現則簡化了 WaveNet 模型的訓練和佈署流程，降低了使用門檻。透過 AutoGluon，開發者可以快速構建高精確度的時間序列預測模型，應用於各種實際場景。需要注意的是，WaveNet 模型的訓練需要大量的計算資源和資料，同時超引數調整也至關重要。實務經驗顯示，結合自迴歸模型可以進一步提升預測準確性。

神經網路用於時間序列預測

時間序列預測是一個非常重要的應用領域，特別是在金融、天氣預測以及物流管理等方面。神經網路提供了一種強大的工具來處理這些複雜的時間序列問題。以下我們將探討多層感知機（MLP）和卷積神經網路（CNN）在時間序列預測中的應用。

MLP在時間序列預測中的應用

多層感知機（MLP）是一種經典的神經網路結構，它由多個層次的感知機組成。這些層次可以分為輸入層、隱藏層和輸出層。每一層的神經元都會接收前一層的輸出，並透過啟用函式進行非線性變換。

在時間序列預測中，MLP可以用來捕捉資料中的模式和趨勢。例如，我們可以使用MLP來預測航空乘客數量。以下是一個簡單的MLP模型預測結果範例：

ds           MLP     MLP-median   MLP-lo-90   MLP-lo-80   MLP-hi-80   MLP-hi-90
1960-01-31  408.9247  408.8400     386.4586    391.8993    425.0482    429.6487
1960-02-29  392.0376  391.3043     361.8254    368.2338    416.1010    424.0149
1960-03-31  484.2581  484.3407     437.9182    448.2137    519.5500    531.0802
...

評估模型準確性

要評估MLP模型的效能，我們可以使用多種錯誤度量指標。以下是一些常見的指標及其計算結果：

calculate_error_metrics(test_data[['y']], Y_hat_df['MLP'])

MSE : 547.16
RMSE : 23.39
MAPE : 0.03
r2 : 0.90
adjusted_r2 : 0.89

這些指標顯示了模型在不同方面的表現，例如均方誤差（MSE）、均方根誤差（RMSE）、平均絕對百分比誤差（MAPE）以及決定係數（r²）。這些指標有助於我們理解模型的精確度和可靠性。

視覺化預測結果

為了直觀地檢視模型的預測效果，我們可以繪製真實值與預測值的對比圖：

train_data.set_index('ds', inplace=True)
Y_hat_df.set_index('ds', inplace=True)
test_data.set_index('ds', inplace=True)

plt.figure(figsize=(20, 3))
y_past = train_data["y"]
y_pred = Y_hat_df['MLP']
y_test = test_data["y"]

plt.plot(y_past, label="過去時間序列值")
plt.plot(y_pred, label="預測值")
plt.plot(y_test, label="真實時間序列值")

plt.title('航空乘客數量預測', fontsize=10)
plt.ylabel('月度乘客數量', fontsize=10)
plt.xlabel('時間戳 [t]', fontsize=10)
plt.legend()

此圖示展示了MLP模型對航空乘客數量的預測結果與真實值之間的關係，顯示出模型能夠準確地捕捉到資料中的趨勢。

根據CNN的架構

卷積神經網路（CNN）最初是為影像處理設計的，但它們也可以應用於時間序列預測。CNN具有三個主要層次：卷積層、池化層和全連線層。

CNN架構概述

卷積層透過卷積滑動視窗來提取特徵，保留畫素之間的空間關係。池化層則透過下取樣來減少特徵圖的空間維度，從而減少過擬合風險。全連線層則根據前幾層提取出的特徵進行最終分類別任務。

波紋網路（WaveNet）

波紋網路（WaveNet）是一種深度神經網路，最初用於音樂和音訊生成。WaveNet利用擴張卷積來捕捉長期依賴關係，這使得它在時間序列預測中表現優異。

擴張卷積

擴張卷積透過增加核尺寸之間的間隔來擴大感受野，而不會顯著增加引數數量或計算複雜度。其數學表示式為：

[ y(t) = \sum_{i=0}^{K} w(i) \cdot x(t - d \cdot i) ]

其中 ( y(t) ) 是時間 ( t ) 的輸出，( w(i) ) 是核中的權重，( x(t - d \cdot i) ) 是輸入，( d ) 是擴張率。

條件卷積

條件卷積確保模型僅使用當前和過去的值來預測未來值。這對於保證因果性非常重要。其數學表示式為：

[ y(t) = \sum_{i=0}^{K} w(i) \cdot x(t - i) ]

其中 ( x(t - i) ) 對於 ( t - i < 0 ) 的情況為零。

殘差連線

殘差連線有助於緩解梯度消失問題，使得梯度能夠更有效地流動。

WaveNet在時間序列預測中的應用

WaveNet使用堆積疊擴張卷積來捕捉長期依賴關係。這使得它能夠有效地學習時間序列資料中的長期模式和趨勢。以下是WaveNet在航空乘客數量預測中的應用範例：

# 假設已經定義了WaveNet模型和訓練資料
wave_net_model.fit(train_data, epochs=50)
predictions = wave_net_model.predict(test_data)

內容解密：

此段程式碼展示瞭如何使用WaveNet模型進行時間序列預測。首先，我們定義並訓練WaveNet模型，然後使用訓練好的模型來生成對測試資料集的預測結果。這個步驟展示瞭如何將深度學習技術應用於實際問題中。

# 假設已經定義了錯誤評估函式
calculate_error_metrics(test_data[['y']], predictions)

內容解密：

在此段程式碼中，我們使用錯誤評估函式來計算預測結果與真實結果之間的誤差。這有助於我們評估模型在不同指標上的表現並進行相應調整最佳化。

時間序列資料的神經網路應用

時間序列預測是許多領域中一項重要的技術應用，特別是在金融、天氣預測及物流管理等領域。神經網路（Neural Networks）在時間序列預測方面展現了強大的能力，其中WaveNet模型是其中的佼佼者。本文將探討WaveNet模型在時間序列預測中的應用，並提供實務案例與詳細解說。

段落標題： WaveNet模型概述

WaveNet模型由DeepMind於2016年提出，最初用於音訊生成，但其強大的特徵提取能力使其在時間序列預測中也顯得尤為重要。WaveNet模型的核心理念是利用擴展卷積（Dilated Convolutions）來捕捉時間序列中的長期依賴關係。

次段落標題： 殘差連線與擴展卷積

波網模型的設計靈感來自於殘差學習（Residual Learning），這種技術可以有效地解決深度網路中的梯度消失問題。殘差學習透過將輸入直接加到輸出上來構建殘差連線，這樣可以讓網路學習更為複雜的特徵對映。在WaveNet中，殘差連線的公式如下：

[ y(t) = F(x(t)) + x(t) ]

其中：

  • ( F(x(t)) ) 是卷積塊的輸出。
  • ( x(t) ) 是輸入。

此圖示展示了殘差塊與完整架構：

  graph TD;
    A[Input] --> B[Convolution Block];
    B --> C[Output];
    A --> D[Add];
    C --> D;
    D --> E[Activation Function];

此圖示展示了殘差連線的基本結構，其中輸入被直接加到卷積塊的輸出上，再透過啟用函式產生最終輸出。

段落標題： WaveNet模型的特點

WaveNet模型具有幾個顯著的特點，使其在時間序列預測中表現優異：

  1. 擴展卷積：擴展卷積允許模型擁有更大的感知範圍，這對於捕捉長期依賴關係至關重要。
  2. 殘差連線：殘差連線有助於構建更深的網路結構，並改善梯度流動。
  3. 門控啟用：門控啟用機制引入非線性，增強了模型對複雜時間模式的建模能力。
  4. 軟最大化：在音訊生成中，最終輸出層通常使用軟最大化函式來生成序列中下一個值的機率。

段落標題： WaveNet模型在時間序列預測中的應用

要利用WaveNet深度神經網路（DNN）進行時間序列預測，首先需要將輸入轉換為時間序列資料。這些資料可以是原始值、衍生特徵值或標準化值。這些資料可以用來預測下一個時間步或一系列未來值。常用的損失函式包括均方誤差（MSE）和平均絕對誤差（MAE）。

次段落標題： 實務案例：AutoGluon

AutoGluon是一個開源函式庫，用於自動化機器學習任務。它支援訓練和佈署機器學習及深度學習模型，並且提供對時間序列預測模型的支援。以下是使用AutoGluon進行時間序列預測的一個具體例項。

首先，安裝並匯入所需的套件：

import autogluon
from neuralforecast.utils import AirPassengersDF
import numpy as np
from sklearn.metrics import mean_squared_error, mean_absolute_percentage_error, r2_score
from autogluon.timeseries import TimeSeriesPredictor, TimeSeriesDataFrame
from autogluon.timeseries.models import WaveNetModel
import pandas as pd

次段落標題： 資料載入與前處理

接著載入資料集並進行前處理：

Y_df = AirPassengersDF
Y_df = Y_df.reset_index(drop=True)
Y_df.head()

這裡載入了一個包含12年月度乘客數量資料集。將最後一年的資料作為測試集，剩餘11年的資料作為訓練集：

Y_df['ds'] = pd.to_datetime(Y_df['ds'])
Y_df['unique_id'] = 'airline_1'

將unique_id欄位轉換為類別型別以符合AutoGluon的格式要求：

data = TimeSeriesDataFrame.from_data_frame(
    Y_df,
    id_column="unique_id",
    timestamp_column="ds"
)
data.tail()

將資料分割為訓練集和測試集：

train_data = data.head(132)
test_data = data.tail(12)

次段落標題： 模型訓練與預測

建立一個TimeSeriesPredictor物件來預測未來值並明確指定使用WaveNet模型：

predictor = TimeSeriesPredictor(
    target='y',
    prediction_length=12,
    eval_metric="MASE"
).fit(
    train_data,
    presets='best_quality',
    hyperparameters={'WaveNetModel': {}},
    time_limit=600
)

進行預測並檢視結果：

predictions = predictor.predict(train_data)
predictions.head()

評估模型準確性：

calculate_error_metrics(test_data['y'], predictions['mean']['airline_1'].tail(48))

視覺化預測結果：

import matplotlib.pyplot as plt
plt.figure(figsize=(20, 3))
item_id = "airline_1"
y_past = train_data.loc[item_id]["y"]
y_pred = predictions.loc[item_id]
y_test = test_data.loc[item_id]["y"]
plt.plot(y_past, label="Past time series values")
plt.plot(y_pred["mean"], label="Mean forecast")
plt.plot(y_test, label="Actual time series values")
plt.title('AirPassengers Forecast', fontsize=10)
plt.legend()
plt.show()

段落標題： 實務建議與注意事項

使用WaveNet模型進行時間序列預測時需要考慮以下幾點：

  • 計算資源：波網模型對計算資源、記憶體和電力消耗要求較高。
  • 資料量：需要大量資料來訓練有效的模型。
  • 超引數調整：調整超引數如層數、濾波器和擴充套件率以找到最佳架構。
  • 結合其他模型：實務中發現結合自迴歸模型可以改善預測結果。
內容解密：

本文程式碼主要進行以下幾個步驟：

  1. 匯入所需函式庫：從 autogluon 和 neuralforecast 匯入必要的套件及函式。
  2. 資料載入與前處理：載入包含乘客數量的歷史資料並進行格式轉換。
  3. 分割訓練集與測試集：將前11年的資料作為訓練集，最後一年的資料作為測試集。
  4. 模型訓練與預測：使用 TimeSeriesPredictor 物件定義並訓練 WaveNet 模型。
  5. 評估與視覺化：計算評估指標（如 MSE、RMSE、MAPE、R^2）並繪製預測結果圖表。

這些步驟展示瞭如何在實務上應用 WaveNet 模型進行時間序列預測，並且提供了一個完整且可重複操作的範例。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。