資料轉換技術與實際應用

– 19 分鐘閱讀

資料預處理是機器學習的關鍵步驟，正確的資料轉換能顯著提升模型效能。本文將探討數種資料轉換技術，包含標準化、正規化、MinMaxScaler、MaxAbsScaler 和 RobustScaler，並以 Python 程式碼和圖表輔助說明，讓讀者深入理解這些技術的應用場景和優缺點，進而選擇最合適的資料預處理方法。不同方法各有其適用場景，例如標準化適用於資料近似常態分佈的情況，而 RobustScaler 則更適合處理含有異常值的資料。選擇正確的轉換方法能有效提升模型的泛化能力和穩定性。

資料轉換

資料轉換是一個重要的步驟，能夠確保資料的品質和模型的效能。其中，標準化（StandardScaler）是一種常見的資料轉換技術，旨在將資料轉換為均值為0，標準差為1的分佈。

標準化（StandardScaler）

標準化的過程是將資料中的每個特徵進行均值和標準差的調整，確保所有特徵都具有相同的尺度。這個過程可以使用以下公式來表示：

z = (x - μ) / σ

其中，z是轉換後的資料，x是原始資料，μ是均值，σ是標準差。

標準化的優點在於可以避免不同特徵之間的尺度差異對模型的影響，並且可以提高模型的泛化能力。然而，標準化也有一個假設，就是資料應該遵循正態分佈（Gaussian distribution）。如果資料不符合這個假設，則可能需要使用其他的轉換技術。

實際應用

在實際應用中，我們可以使用Python的scikit-learn函式庫來實作標準化。以下是範例程式碼：

from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# 建立一個StandardScaler物件
scaler = StandardScaler()

# 將資料進行標準化
transformed_data = scaler.fit_transform(data)

# 繪製原始資料和轉換後的資料的分佈
plt.figure(figsize=(13, 5))
sns.distplot(data, label="原始資料", color="magenta")
sns.distplot(transformed_data, label="轉換後的資料", color="g")
plt.legend()
plt.show()

這個範例程式碼展示瞭如何使用StandardScaler進行標準化，並且繪製原始資料和轉換後的資料的分佈。透過比較這兩個分佈，可以看到標準化的效果。

標準化與資料分佈

在資料前處理的過程中，標準化是一個重要的步驟。標準化的目的是將資料轉換為一個共同的尺度，以便於比較和分析。下面我們將探討標準化的過程和其對資料分佈的影響。

標準化過程

標準化通常使用 StandardScaler 進行。這個過程涉及將每個特徵的均值（μ）調整為0，並將標準差（σ）調整為1。這樣做的目的是確保所有特徵都在同一尺度上，方便後續的分析和模型訓練。

資料分佈

資料分佈是指資料點在座標系中的分佈情況。一個常見的資料分佈是常態分佈，也就是所謂的「鐘形曲線」。在常態分佈中，大部分的資料點聚集在均值（μ）附近，隨著離均值的距離增加，資料點的密度逐漸減少。

標準差和資料分佈

標準差（σ）是衡量資料分佈擴散程度的一個指標。根據經驗規則，大約68%的資料點會落在均值（μ）左右1個標準差（σ）的範圍內，大約95%的資料點會落在均值（μ）左右2個標準差（σ）的範圍內，大約99.7%的資料點會落在均值（μ）左右3個標準差（σ）的範圍內。

實際案例

假設我們有一組資料，其均值（μ）為0，標準差（σ）為1。根據上述經驗規則，我們可以預期：

  • 大約68%的資料點會落在-1到1之間（μ ± 1σ）。
  • 大約95%的資料點會落在-2到2之間（μ ± 2σ）。
  • 大約99.7%的資料點會落在-3到3之間（μ ± 3σ）。

這些範圍可以幫助我們瞭解資料的分佈情況和資料點的集中程度。

標準化與極值縮放：資料預處理的重要步驟

在機器學習中，資料預處理是一個至關重要的步驟。它能夠幫助我們將資料轉換成一個更適合模型訓練的形式。其中，標準化（Standardization）和極值縮放（MinMaxScaler）是兩種常用的資料預處理技術。

標準化

標準化是一種將資料轉換成均值為0，標準差為1的過程。這樣做的好處是，可以減少資料之間的尺度差異，避免某些特徵因為尺度太大而對模型產生過大的影響。標準化的公式如下：

z = (x - μ) / σ

其中，x是原始資料，μ是均值，σ是標準差。

極值縮放

極值縮放是一種將資料轉換成一個指定範圍（例如-1到1或0到1）內的過程。這樣做的好處是，可以避免某些特徵因為尺度太大而對模型產生過大的影響。極值縮放的公式如下：

z = (x - min) / (max - min)

其中，x是原始資料，min是最小值，max是最大值。

實際應用

下面是一個使用Python實作標準化和極值縮放的例子：

import numpy as np
from sklearn.preprocessing import StandardScaler, MinMaxScaler
import matplotlib.pyplot as plt
import seaborn as sns

# 生成一些隨機資料
np.random.seed(0)
X = np.random.randn(1000)

# 標準化
scaler = StandardScaler()
X_std = scaler.fit_transform(X)

# 極值縮放
min_max_scaler = MinMaxScaler()
X_min_max = min_max_scaler.fit_transform(X)

# 繪製原始資料、標準化資料和極值縮放資料的分佈
plt.figure(figsize=(13, 5))
sns.distplot(X, label="原始資料", color="magenta")
sns.distplot(X_std, label="標準化資料", color="blue")
sns.distplot(X_min_max, label="極值縮放資料", color="green")
plt.legend()
plt.show()

這個例子展示瞭如何使用StandardScaler和MinMaxScaler進行標準化和極值縮放，並且繪製了原始資料、標準化資料和極值縮放資料的分佈。

2.1 特徵縮放：結構化連續數值資料

在資料預處理中，特徵縮放是一個重要的步驟。它能夠確保所有特徵都處於相同的尺度上，這對於許多機器學習演算法來說是非常重要的。其中，MinMaxScaler 和 MaxAbsScaler 是兩種常用的縮放方法。

2.1.1 MinMaxScaler

MinMaxScaler 是一種將資料縮放到指定範圍（預設為 0 到 1）的方法。這種方法對於大多數機器學習演算法來說是非常有用的，因為它能夠確保所有特徵都處於相同的尺度上。以下是 MinMaxScaler 的使用範例：

from sklearn.preprocessing import MinMaxScaler

# 建立一個 MinMaxScaler 物件
scaler = MinMaxScaler(feature_range=(0, 1))

# 將資料縮放到 0 到 1 之間
scaled_data = scaler.fit_transform(data)

在這個範例中，MinMaxScaler 將資料縮放到 0 到 1 之間。這意味著所有特徵都將被縮放到這個範圍內。

2.1.2 MaxAbsScaler

MaxAbsScaler 是另一種縮放方法，它將資料縮放到 0 到 1 之間，根據絕對最大值。這種方法對於已經中心化在零或稀疏資料來說是非常適合的，因為它不會改變資料的中心化。以下是 MaxAbsScaler 的使用範例：

from sklearn.preprocessing import MaxAbsScaler

# 建立一個 MaxAbsScaler 物件
scaler = MaxAbsScaler()

# 將資料縮放到 0 到 1 之間
scaled_data = scaler.fit_transform(data)

在這個範例中，MaxAbsScaler 將資料縮放到 0 到 1 之間，根據絕對最大值。

內容解密：

在上面的範例中，我們使用 MinMaxScaler 和 MaxAbsScaler 將資料縮放到指定範圍。這兩種方法都能夠確保所有特徵都處於相同的尺度上，但是它們的適用情況不同。MinMaxScaler 更加適合大多數機器學習演算法，而 MaxAbsScaler 更加適合已經中心化在零或稀疏資料。

圖表翻譯：

以下是 MinMaxScaler 和 MaxAbsScaler 的流程圖：

  flowchart TD
    A[原始資料] --> B[MinMaxScaler]
    B --> C[縮放資料]
    A --> D[MaxAbsScaler]
    D --> E[縮放資料]

在這個流程圖中，我們可以看到 MinMaxScaler 和 MaxAbsScaler 的流程。它們都能夠將原始資料縮放到指定範圍，但是它們的適用情況不同。

最大絕對值縮放

最大絕對值縮放（MaxAbsScaler）是一種常用的資料預處理技術，主要用於將資料的絕對值縮放到一個指定的範圍內。這種技術對於某些機器學習演算法非常重要，因為它可以避免由於資料尺度不同導致的問題。

實作最大絕對值縮放

以下是使用Python實作最大絕對值縮放的例子：

from sklearn.preprocessing import MaxAbsScaler
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 建立一個MaxAbsScaler物件
max_abs_scaler = MaxAbsScaler()

# 將資料進行fit_transform
maxabs_transformed = max_abs_scaler.fit_transform(X)

# 設定圖片大小
plt.rcParams["figure.figsize"] = 13, 5

# 建立一個子圖
fig, ax = plt.subplots(1, 2)

# 繪製原始資料的分佈
sns.distplot(X, label="原始偏度：{0}".format(np.round(skew(X), 4)),
             color="magenta", ax=ax[0], axlabel="原始")

# 繪製縮放後資料的分佈
sns.distplot(maxabs_transformed, label="轉換後偏度：{0}".format(np.round(skew(maxabs_transformed), 4)),
             color="g", ax=ax[1], axlabel="MaxAbsScaler")

# 顯示圖例
fig.legend()

# 顯示圖片
plt.show()

輸出結果

執行上述程式碼後，我們會得到以下輸出結果：

MaxAbsScaler
1e–6
7
6
5
4
3

Density
2
1
0 

300000 400000 500000 600000

Original

700000 800000 900000
5
4
3
2

Density
1
0 

0.4 0.6 0.8 1.0

Original Skew: [–0.5994]

Transformed Skew: [–0.5994]

從輸出結果中，我們可以看到原始資料和縮放後資料的分佈情況。雖然兩個分佈看起來相似，但是縮放後的資料其實已經被轉換到了一個新的尺度上。

內容解密：

在這個例子中，我們使用了MaxAbsScaler類別來實作最大絕對值縮放。首先，我們建立了一個MaxAbsScaler物件，然後使用fit_transform方法將資料進行縮放。接著，我們使用distplot函式來繪製原始資料和縮放後資料的分佈。最後，我們顯示了圖例和圖片。

圖表翻譯：

以下是圖表的詳細解釋：

  • 左側圖表顯示原始資料的分佈，x軸代表資料值，y軸代表密度。
  • 右側圖表顯示縮放後資料的分佈，x軸代表資料值，y軸代表密度。
  • 兩個圖表都顯示了偏度（skew）的值，原始資料的偏度為-0.5994，縮放後資料的偏度也為-0.5994。
  • 圖表中還顯示了資料的範圍，例如300000到900000等。

2.1.1.4 RobustScaler：處理資料異常值的強大工具

當資料中含有大量異常值時，使用平均值和變異數來縮放資料可能不會有效。這時，RobustScaler是一個不錯的選擇，它透過移除中位數並根據四分位數範圍來縮放資料：

$$z = \frac{x_i - Q_1(x)}{Q_3(x) - Q_1(x)}$$

如圖2.3所示，縮放器使用四分位數範圍（IQR），即第一四分位數$Q_1(x)$和第三四分位數$Q_3(x)$之間的範圍。

我們將看到，特徵縮放可以顯著改善某些機器學習演算法的效能，但對其他演算法沒有影響。

實作RobustScaler

以下是實作RobustScaler的方法：

from sklearn.preprocessing import RobustScaler
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# 輸入資料
X =...

# 建立RobustScaler物件
RobustScaler = RobustScaler()

# 將資料進行RobustScaler轉換
Robust_transformed = RobustScaler.fit_transform(X)

# 繪製原始資料和轉換後資料的分佈
plt.rcParams["figure.figsize"] = 13, 5
fig, ax = plt.subplots(1, 2)
sns.distplot(X, label="原始資料偏度：{0}".format(np.round(skew(X), 4)), color="magenta", ax=ax[0], axlabel="原始資料")
sns.distplot(Robust_transformed, label="轉換後資料偏度：{0}".format(np.round(skew(Robust_transformed), 4)), color="g", ax=ax[1], axlabel="RobustScaler")

fig.legend()
plt.show()

輸出結果如下：

1e-6
7
6
5
4
3
Density
2
1
0
300000 400000 500000 600000
原始資料

700000 800000 900000
0.5

內容解密：

  • RobustScaler是一種強大的工具，用於處理資料異常值。
  • 它透過移除中位數並根據四分位數範圍來縮放資料。
  • 四分位數範圍（IQR）是第一四分位數$Q_1(x)$和第三四分位數$Q_3(x)$之間的範圍。
  • RobustScaler可以顯著改善某些機器學習演算法的效能，但對其他演算法沒有影響。

圖表翻譯：

  • 圖2.3展示了RobustScaler的工作原理。
  • 圖中顯示了原始資料和轉換後資料的分佈。
  • 轉換後資料的分佈更加緊密，表明RobustScaler有效地處理了異常值。

資料前處理中的資料轉換

在進行資料分析或機器學習模型訓練之前，資料前處理是一個非常重要的步驟。其中，資料轉換是用於調整資料分佈、縮放資料範圍或是處理異常值的技術。這裡，我們將探討資料轉換的概念和方法，特別是對於連續性資料的轉換。

資料轉換的目的

資料轉換的主要目的是使資料更適合分析或模型訓練。這包括了減少資料的偏度（Skewness）、將資料縮放到一個適合的範圍、以及去除異常值。透過這些轉換，可以提高模型的效能和穩定性。

連續性資料的轉換

連續性資料是指可以取任意值的資料，例如身高、體重等。對於連續性資料，常用的轉換方法包括：

  1. 標準化（Standardization）：這種方法是將資料轉換為均值為0、標準差為1的分佈。這對於很多機器學習演算法來說是有益的，因為它可以避免由於特徵尺度不同導致的特徵重要性不同問題。
  2. 正規化（Normalization）：這種方法是將資料轉換到一個指定的範圍，通常是[0, 1]。這對於需要特徵值在相同尺度上的演算法很有用。
  3. 對數轉換（Log Transformation）：當資料具有偏度時，對數轉換可以幫助減少偏度，使資料更接近正態分佈。
  4. RobustScaler：這是一種可以處理異常值的轉換方法，它使用的是中位數和四分位數間距（IQR）來進行縮放。

實際案例

給定一組資料：0.6, 0.4, 0.3, 0.2, 0.1, 0.0，假設這些資料代表某種物理量的測量值。使用RobustScaler進行轉換，可以自動地根據資料的中位數和IQR進行縮放，從而減少異常值的影響。

from sklearn.preprocessing import RobustScaler
import numpy as np

# 給定的資料
data = np.array([0.6, 0.4, 0.3, 0.2, 0.1, 0.0]).reshape(-1, 1)

# 建立RobustScaler物件
scaler = RobustScaler()

# 對資料進行轉換
transformed_data = scaler.fit_transform(data)

print("Original Data:", data)
print("Transformed Data:", transformed_data)

資料縮放與歸一化

在進行資料分析時，資料的尺度和單位可能會對模型的表現產生重大影響。為了避免這種情況，資料縮放和歸一化是兩種常用的技術，能夠將資料轉換為適合模型訓練的格式。

資料縮放

資料縮放是一種將資料轉換為某個特定範圍的技術，通常是將資料縮放到0到1之間。這種技術可以避免不同特徵之間的尺度差異對模型的影響。

歸一化

歸一化是一種將資料轉換為均值為0、標準差為1的技術。這種技術可以避免不同特徵之間的尺度差異對模型的影響，並且可以加速模型的收斂速度。

四分位數範圍（IQR）

四分位數範圍（Interquartile Range, IQR）是指第三四分位數（Q3）和第一四分位數（Q1）之間的差值。IQR可以用來衡量資料的分散程度，並且可以用來檢測異常值。

IQR的計算

IQR的計算公式如下：

IQR = Q3 - Q1

其中，Q3是第三四分位數，Q1是第一四分位數。

IQR的應用

IQR可以用來檢測異常值和衡量資料的分散程度。例如，在圖2.3中，IQR用來計算資料的分散程度，並且用來檢測異常值。

  flowchart TD
    A[資料] --> B[計算Q1和Q3]
    B --> C[計算IQR]
    C --> D[檢測異常值]
    D --> E[衡量資料的分散程度]

圖表翻譯：

圖2.3展示了IQR的計算過程和應用。其中，Q1和Q3分別代表第一四分位數和第三四分位數，IQR代表四分位數範圍。圖中還展示了25%、50%和75%的百分位數，分別代表第一四分位數、第二四分位數和第三四分位數。

  flowchart TD
    A[25%] --> B[50%]
    B --> C[75%]
    C --> D[IQR]
    D --> E[檢測異常值]

2.1 特徵重縮放：結構化連續數值資料

在進行機器學習和深度學習時，資料預處理是一個非常重要的步驟。其中，特徵重縮放（Feature Rescaling）是一種常見的資料預處理技術，旨在將原始資料轉換為適合模型訓練的格式。在本文中，我們將探討特徵重縮放的概念和方法，特別是針對結構化連續數值資料。

2.1.1 標準化和正規化

標準化（Standardization）和正規化（Normalization）是兩種常見的特徵重縮放方法。標準化是一種 column-wise 的操作，旨在將每個特徵的均值轉換為 0，方差轉換為 1。這樣可以避免不同特徵之間的尺度差異對模型訓練的影響。

另一方面，正規化是一種 row-wise 的操作，旨在將每個樣本的 norm（長度或大小）轉換為 1。這樣可以避免不同樣本之間的尺度差異對模型訓練的影響。

2.1.1.5 正規化：單位向量正規化

單位向量正規化（Unit Vector Normalization）是一種常見的正規化方法。它的目的是將每個樣本的 norm 轉換為 1，這樣可以避免不同樣本之間的尺度差異對模型訓練的影響。

在進行單位向量正規化時，我們需要計算向量的 norm 或長度。向量的 norm 可以使用不同的方法計算，例如 l1 norm、l2 norm 和 max norm。

  • l1 norm：計算向量中所有元素的絕對值之和。
  • l2 norm：計算向量中所有元素的平方和之平方根。
  • max norm：計算向量中所有元素的最大絕對值。

在機器學習和深度學習中，l1 norm 和 l2 norm 是最常用的兩種 norm。l1 norm 更加 robust，可以忽略極端值，而 l2 norm 更加 sensitive，可以捕捉到細微的變化。

內容解密：

import numpy as np

# 定義一個向量
x = np.array([1, 2, 3, 4, 5])

# 計算 l1 norm
l1_norm = np.sum(np.abs(x))

# 計算 l2 norm
l2_norm = np.sqrt(np.sum(x**2))

# 計算 max norm
max_norm = np.max(np.abs(x))

print("l1 norm:", l1_norm)
print("l2 norm:", l2_norm)
print("max norm:", max_norm)

圖表翻譯：

  graph LR
    A[原始向量] -->|計算 l1 norm|> B[l1 norm]
    A -->|計算 l2 norm|> C[l2 norm]
    A -->|計算 max norm|> D[max norm]
    B --> E[正規化]
    C --> E
    D --> E

在上面的圖表中，我們可以看到原始向量可以使用不同的方法計算其 norm。然後，根據計算出的 norm，我們可以進行正規化，以避免不同樣本之間的尺度差異對模型訓練的影響。

機器學習中的特徵工程技術：資料正規化

在機器學習中，特徵工程是一個至關重要的步驟，能夠顯著提高模型的效能。其中，資料正規化是一種常見的特徵工程技術，旨在將原始資料轉換為一個共同的尺度，以便於模型的訓練和預測。

資料正規化的目的

資料正規化的主要目的是消除不同特徵之間的尺度差異，確保所有特徵都處於同一尺度上。這樣可以避免某些特徵因為尺度太大而主導模型的訓練，同時也能夠提高模型的泛化能力。

單位向量正規化

單位向量正規化是一種常見的正規化方法，旨在將每個樣本轉換為一個單位向量。假設我們有一個資料集X，包含D個特徵和N個樣本。單位向量正規化可以按照以下公式計算：

Z[j, :] = X[j, :] / ||X[j, :]||

其中，X[j, :]代表第j個樣本，||X[j, :]||代表第j個樣本的歐幾裡得範數。

使用scikit-learn實作正規化

我們可以使用scikit-learn函式庫來實作正規化。以下是使用scikit-learn實作單位向量正規化的示例程式碼：

from sklearn.preprocessing import Normalizer
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 建立一個Normalizer物件
normalizer = Normalizer()

# 將資料集X進行正規化
X_normalized = normalizer.fit_transform(X)

# 繪製原始資料和正規化後的資料分佈
plt.figure(figsize=(13, 5))
sns.distplot(X, label="原始資料", color="magenta", ax=plt.subplot(1, 2, 1))
sns.distplot(X_normalized, label="正規化後的資料", color="g", ax=plt.subplot(1, 2, 2))
plt.legend()
plt.show()

這段程式碼首先建立一個Normalizer物件，然後使用fit_transform()方法將資料集X進行正規化。最後，使用seaborn函式庫繪製原始資料和正規化後的資料分佈。

內容解密：

在上面的程式碼中，我們使用Normalizer類別來實作單位向量正規化。Normalizer類別提供了一個fit_transform()方法，可以將資料集進行正規化。這個方法首先計算每個樣本的歐幾裡得範數，然後將每個樣本除以其歐幾裡得範數，以得到單位向量。

圖表翻譯：

上面的圖表展示了原始資料和正規化後的資料分佈。左側的圖表展示了原始資料的分佈，可以看到資料分佈不均勻，存在著明顯的偏態。右側的圖表展示了正規化後的資料分佈，可以看到資料分佈變得更加均勻，偏態明顯減少。這表明正規化對於改善資料分佈和提高模型效能具有重要作用。

資料轉換與正規化

資料轉換和正規化是資料預處理中非常重要的步驟，能夠幫助我們改善模型的表現和穩定性。在這個章節中，我們將探討不同型別的資料轉換和正規化方法，包括對數轉換、平方根轉換、倒數轉換、Box-Cox轉換和Yeo-Johnson轉換等。

資料正規化

資料正規化是一種將資料轉換為相同尺度的過程，通常使用L1或L2正規化。Scikit-learn中的Normalizer類別提供了一種簡單的方式來實作資料正規化。例如：

from sklearn.preprocessing import Normalizer
normalizer = Normalizer(norm='l2')

對數轉換

對數轉換是一種常見的資料轉換方法，能夠幫助我們處理具有偏態分佈的資料。對數轉換可以使用自然對數、底10對數或底2對數等不同的對數基數。例如：

import numpy as np
log_target = np.log1p(X)

平方根轉換

平方根轉換是一種相對於對數轉換更為溫和的方法，能夠幫助我們處理具有輕微偏態分佈的資料。平方根轉換可以直接應用於原始資料。例如：

import numpy as np
sqrt_target = np.sqrt(X)

倒數轉換

倒數轉換是一種簡單的資料轉換方法，能夠幫助我們處理具有重尾分佈的資料。倒數轉換可以直接應用於原始資料。例如：

import numpy as np
reciprocal_target = 1 / X

Box-Cox轉換

Box-Cox轉換是一種常見的資料轉換方法，能夠幫助我們處理具有偏態分佈的資料。Box-Cox轉換需要一個引數λ，通常需要透過迴歸分析來確定。例如：

from scipy.stats import boxcox
boxcox_target, _ = boxcox(X)

Yeo-Johnson轉換

Yeo-Johnson轉換是一種相對於Box-Cox轉換更為一般的資料轉換方法，能夠幫助我們處理具有偏態分佈的資料。Yeo-Johnson轉換需要一個引數λ，通常需要透過迴歸分析來確定。例如：

from scipy.stats import yeojohnson
yeojohnson_target, _ = yeojohnson(X)
內容解密：

在這個章節中，我們探討了不同型別的資料轉換和正規化方法。每種方法都有其優缺點，需要根據具體的情況進行選擇。例如，對數轉換適合於具有偏態分佈的資料，而平方根轉換則適合於具有輕微偏態分佈的資料。透過選擇適合的資料轉換和正規化方法，我們可以更好地處理具有偏態分佈的資料，並提高模型的表現和穩定性。

圖表翻譯：

下圖展示了不同型別的資料轉換和正規化方法的效果。

  flowchart TD
    A[原始資料] --> B[對數轉換]
    B --> C[平方根轉換]
    C --> D[倒數轉換]
    D --> E[Box-Cox轉換]
    E --> F[Yeo-Johnson轉換]
    F --> G[正規化]
    G --> H[模型訓練]

在這個圖表中，我們可以看到不同型別的資料轉換和正規化方法之間的關係，以及如何選擇適合的方法來處理具有偏態分佈的資料。

使用對數轉換處理偏態資料

在機器學習中，資料的偏態分佈可能會對模型的表現產生負面影響。為瞭解決這個問題，我們可以使用對數轉換來處理偏態資料。以下是使用Python和相關函式庫（如Matplotlib、Seaborn和NumPy）來展示對數轉換的效果。

import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# 假設X是原始的偏態資料
X = np.random.skewnorm(5, size=1000)  # 生成偏態資料

# 對X進行對數轉換
log_X = np.log(X + 1)  # 加1是為了避免log(0)的問題

# 計算原始資料和轉換後資料的偏態值
skew_X = np.round(np.mean((X - np.mean(X))**3) / (np.std(X)**3), 4)
skew_log_X = np.round(np.mean((log_X - np.mean(log_X))**3) / (np.std(log_X)**3), 4)

# 繪製原始資料和轉換後資料的分佈
fig, ax = plt.subplots(1, 2)
sns.histplot(X, label=f"原始偏態值：{skew_X}", color="magenta", ax=ax[0], kde=True)
sns.histplot(log_X, label=f"對數轉換後偏態值：{skew_log_X}", color="g", ax=ax[1], kde=True)

# 顯示圖例和標題
fig.legend()
ax[0].set_title("原始資料")
ax[1].set_title("對數轉換後資料")

plt.show()

內容解密：

  1. 資料生成：首先，我們使用np.random.skewnorm生成了一組偏態資料X。
  2. 對數轉換：然後，我們對X進行了對數轉換，得到log_X。為了避免對數函式在零點處的問題，我們在對數函式中加了1。
  3. 偏態值計算：我們計算了原始資料X和轉換後資料log_X的偏態值，使用了三階矩來估算偏態度。
  4. 分佈繪製：最後，我們使用Seaborn的histplot函式繪製了原始資料和轉換後資料的分佈，並顯示了各自的偏態值。

圖表翻譯：

上述程式碼生成的圖表展示了原始偏態資料和對數轉換後資料的分佈情況。透過比較兩個分佈，可以觀察到對數轉換對於減少偏態的效果。原始資料的分佈明顯右偏，而對數轉換後的資料分佈更接近於正態分佈，表明了對數轉換在處理偏態資料方面的有效性。

從資料預處理的最佳實踐來看，選擇合適的資料轉換策略至關重要。本文深入探討了多種常用技術，包含標準化 (StandardScaler)、極值縮放 (MinMaxScaler)、最大絕對值縮放 (MaxAbsScaler) 以及 RobustScaler，並分析了它們各自的優缺點和適用場景。觀察不同方法對資料分佈的影響，例如 StandardScaler 如何將資料調整至均值為 0、標準差為 1 的常態分佈，而 RobustScaler 則更適合處理存在異常值的資料集。針對偏態資料，我們也介紹了對數轉換、平方根轉換等技巧，並以實際案例和程式碼片段展示瞭如何應用這些技術。技術團隊在進行特徵工程時，應根據資料特性和模型需求，審慎選擇合適的轉換方法，才能有效提升模型的效能和穩定性。展望未來，隨著機器學習技術的發展，自動化資料預處理和特徵工程將成為重要的趨勢，值得持續關注。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。