Seaborn 與線性迴歸模型視覺化應用

– 15 分鐘閱讀

在資料科學領域，有效地視覺化和分析資料至關重要。本文將探討如何使用 Python 的 Seaborn 和 Matplotlib 函式庫繪製 KDE 和 Ridge 圖，並結合線性迴歸模型進行資料分析。首先，我們將介紹如何使用 Seaborn 的 kdeplot 函式繪製單變數的核密度估計圖，以及使用 FacetGrid 和 kdeplot 的組合繪製 Ridge 圖，以便比較不同類別的資料分佈。接著，我們將深入探討線性迴歸模型的建立、應用和評估，並使用 NumPy 和 scikit-learn 函式庫示範如何擬合線性模型、計算 RMSE 等評估指標，以及繪製迴歸線。最後，我們將以美國各縣死亡率資料集為例，示範如何結合 Seaborn 的視覺化功能和線性迴歸模型，分析和解釋實際資料，並提供更深入的洞察。

使用Seaborn進行KDE圖和Ridge圖的繪製

KDE圖的應用

KDE（Kernel Density Estimation）圖是一種用於視覺化連續變數機率密度的圖表。它可以被視為“平滑化的直方圖”，尤其適合用於判斷資料集的底層分佈。透過KDE圖，我們可以更好地理解資料的密度分佈。

以下是使用Seaborn繪製KDE圖的示例程式碼：

import matplotlib.pyplot as plt
import seaborn as sns

def plot_kde(data, column):
    sns.kdeplot(data[column], shade=True)
    plt.show()

# 使用示例
data = sns.load_dataset("iris")
plot_kde(data, "sepal_length")

這段程式碼首先匯入必要的函式庫，然後定義了一個函式plot_kde，該函式使用Seaborn的kdeplot函式繪製KDE圖。最後，載入了Seaborn的內建資料集“iris”，並呼叫plot_kde函式繪製“sepal_length”欄位的KDE圖。

Ridge圖的應用

Ridge圖本質上是一系列KDE圖的堆積疊，允許跨類別比較分佈。以下是使用Seaborn繪製Ridge圖的示例程式碼：

import matplotlib.pyplot as plt
import seaborn as sns

def plot_ridge(data, x_col, category_col):
    g = sns.FacetGrid(data, row=category_col, hue=category_col, aspect=5)
    g.map(sns.kdeplot, x_col, clip_on=False, shade=True, alpha=1, lw=1.5, bw_method=0.2)
    g.map(sns.kdeplot, x_col, clip_on=False, color="w", lw=1, bw_method=0.2)
    g.map(plt.axhline, y=0, lw=2, clip_on=False)
    plt.show()

# 使用示例
data = sns.load_dataset("iris")
plot_ridge(data, "sepal_length", "species")

這段程式碼定義了一個函式plot_ridge，該函式使用Seaborn的FacetGrid和kdeplot函式繪製Ridge圖。它首先建立一個FacetGrid物件，然後使用map方法應用KDE圖的繪製到每個子圖中。最後，載入了Seaborn的內建資料集“iris”，並呼叫plot_ridge函式繪製“sepal_length”欄位的Ridge圖，按照“species”欄位進行分類別。

內容解密：

  • sns.kdeplot函式用於繪製KDE圖，shade=True引數使得圖表被填充為實心。
  • sns.FacetGrid函式用於建立FacetGrid物件，以便跨類別繪製多個子圖。
  • g.map方法用於將繪製函式應用到每個子圖中。
  • plt.axhline函式用於繪製水平線，以便更好地區分不同的分佈。

圖表翻譯：

  • KDE圖表顯示了連續變數的機率密度分佈，可以幫助我們理解資料的底層結構。
  • Ridge圖表允許跨類別比較分佈，使得我們能夠直觀地觀察到不同類別之間的差異。

線性迴歸與資料視覺化

在資料科學中，線性迴歸是一種常用的統計方法，用於建立兩個或多個變數之間的關係。這章節將介紹線性迴歸的基本概念、不同型別的線性迴歸（包括簡單線性迴歸、多元線性迴歸、多項式迴歸和互動作用項），以及如何使用 NumPy 等 Python 函式庫實作線性迴歸。

線性迴歸簡介

線性迴歸是一種用於預測一個連續變數的統計方法，根據一個或多個預測變數。簡單線性迴歸涉及一個預測變數，而多元線性迴歸則涉及多個預測變數。多項式迴歸是簡單線性迴歸的一種擴充套件，允許預測變數與應變數之間的非線性關係。

線性迴歸的型別

  1. 簡單線性迴歸：涉及一個預測變數和一個應變數。
  2. 多元線性迴歸：涉及多個預測變數和一個應變數。
  3. 多項式迴歸：是一種簡單線性迴歸的擴充套件，允許預測變數與應變數之間的非線性關係。
  4. 互動作用項：考慮預測變數之間的互動作用對應變數的影響。

使用 NumPy 實作線性迴歸

NumPy 是一種強大的 Python 函式庫，提供了高效的數值計算功能。以下是使用 NumPy 實作簡單線性迴歸的例子：

import numpy as np

# 生成隨機資料
np.random.seed(0)
x = np.random.rand(100)
y = 2 * x + np.random.randn(100)

# 計算係數
coefficients = np.polyfit(x, y, 1)

# 預測
predicted_y = np.polyval(coefficients, x)

# 繪製結果
import matplotlib.pyplot as plt
plt.scatter(x, y)
plt.plot(x, predicted_y, 'r-')
plt.show()

這個例子展示瞭如何使用 NumPy 生成隨機資料、計算簡單線性迴歸的係數、進行預測和繪製結果。

資料視覺化

資料視覺化是資料科學中的一個重要步驟，用於呈現和理解資料。 Matplotlib 是一種流行的 Python 函式庫，提供了豐富的資料視覺化功能。以下是使用 Matplotlib 繪製 KDE 圖和 Ridge 圖的例子：

import seaborn as sns
import matplotlib.pyplot as plt

# 載入資料
data = sns.load_dataset("diamonds")

# 繪製 KDE 圖
sns.kdeplot(data["price"], shade=True)
plt.show()

# 繪製 Ridge 圖
sns.ridgeplot(data["price"], data["cut"])
plt.show()

這個例子展示瞭如何使用 Matplotlib 和 Seaborn 繪製 KDE 圖和 Ridge 圖。

線性迴歸簡介

線性迴歸是一種統計學方法，旨在建立一個線性關係模型，以描述自變數（獨立變數）和因變數（依賴變數）之間的關係。這種方法已被廣泛應用於各個領域，包括機器學習和統計學。

線性迴歸的目標

線性迴歸的目標是找到一條最佳擬合線，這條線可以最好地描述自變數和因變數之間的關係。需要注意的是，這條最佳擬合線不一定要透過所有的資料點，而是要最小化垂直距離，即使得線與資料點之間的距離最小。

線性迴歸的型別

線性迴歸有多種型別，包括：

  • 簡單線性迴歸：涉及一個自變數和一個因變數。
  • 多元線性迴歸：涉及一個因變數和多個自變數。
  • 多項式迴歸：涉及一個自變數和多個自變數的多項式關係。
  • 互動作用項線性迴歸：涉及自變數之間的互動作用項。

線性迴歸的應用

線性迴歸可以應用於各個領域，例如：

  • 預測一個人的體重根據其身高。
  • 預測房子的價格根據其大小和年齡。
  • 預測產品的銷售額根據其價格和廣告費用。

線性迴歸的數學表示

線性迴歸可以用以下數學方程表示：

  • 簡單線性迴歸：Y = β0 + β1 * X
  • 多元線性迴歸：Y = β0 + β1 * X1 + β2 * X2
  • 多項式迴歸：Y = β0 + β1 * X + β2 * X^2

線性迴歸的評估指標

評估線性迴歸模型的效能是非常重要的。常用的評估指標包括：

  • 均方誤差（MSE）
  • 決定係數（R-squared）
  • 殘差分析

內容解密：

以上內容簡要介紹了線性迴歸的基本概念、型別、應用和數學表示。線性迴歸是一種廣泛應用的統計學方法，可以用於預測和描述自變數和因變數之間的關係。

圖表翻譯：

  flowchart TD
    A[簡單線性迴歸] --> B[多元線性迴歸]
    B --> C[多項式迴歸]
    C --> D[互動作用項線性迴歸]

此圖表示了線性迴歸的不同型別之間的關係。簡單線性迴歸是最基本的型別，多元線性迴歸涉及多個自變數，多項式迴歸涉及自變數的多項式關係，互動作用項線性迴歸涉及自變數之間的互動作用項。

線性迴歸模型評估指標

在評估線性迴歸模型的效能時，常使用以下幾個指標：

  • 決定係數（R²）：代表了模型對應變數變異性的解釋程度，其值範圍從0到1，1表示模型完全解釋了應變數的變異性。
  • 平均平方誤差（MSE）：代表了模型預測值與實際值之間的平均平方差。
  • 平方根平均平方誤差（RMSE）：代表了MSE的平方根，提供了與原始資料相同單位的誤差大小。
  • 平均絕對誤差（MAE）：代表了模型預測值與實際值之間的平均絕對差。
  • 殘差標準誤差（RSE）：代表了模型殘差的標準偏差。
  • F統計量：用於評估模型的整體適合度。
  • 修正決定係數（Adjusted R²）：考慮了模型中自變數的數量，提供了一個更為保守的模型適合度評估。
  • 赤池資訊量準則（AIC）：用於比較不同模型的適合度，越小越好。
  • 杜賓-沃森統計量：用於檢測模型殘差的自相關性。

決定係數（R²）

決定係數（R²），又稱為係數決定性或R平方，衡量了線性迴歸模型對依變數變異性的解釋程度。其值範圍從0到1，1表示模型完全解釋了依變數的變異性。決定係數的計算公式如下：

R² = 1 - (殘差平方和 / 總平方和)

平均平方誤差（MSE）

平均平方誤差（MSE）是另一重要的評估指標，代表了模型預測值與實際值之間的平均平方差。MSE的計算公式如下：

MSE = Σ(yi - ŷi)² / n

其中，yi代表實際值，ŷi代表預測值，n代表觀察數量。

平方根平均平方誤差（RMSE）

RMSE是MSE的平方根，提供了與原始資料相同單位的誤差大小。RMSE的計算公式如下：

RMSE = √MSE

RMSE能夠直觀地反映出模型的預測誤差大小，因此在很多應用中被廣泛使用。

結合評估指標進行模型評估

在實際應用中，往往需要結合多個評估指標來綜合評估模型的效能。例如，決定係數（R²）能夠告訴我們模型對依變數變異性的解釋程度，而平均平方誤差（MSE）和平方根平均平方誤差（RMSE）則能夠提供模型預測誤差的大小和單位。透過考慮這些評估指標，我們可以更全面地瞭解模型的優缺點和適用性。

線性迴歸分析的評估指標

線性迴歸分析是一種廣泛使用的統計方法，用於研究變數之間的關係。在評估線性迴歸模型的效能時，常用的指標包括平均絕對誤差（MAE）、殘差標準誤差（RSE）、F統計量、t統計量、調整R平方（Adjusted R-squared）、AIC（Akaike Information Criterion）、BIC（Bayesian Information Criterion）和杜賓-沃森統計量（Durbin-Watson Statistic）等。

平均絕對誤差（MAE）

MAE是評估模型預測值與實際值之間差異的指標。它的計算公式為：

MAE = (∑|yi−y^i|)/n

其中，yi是實際值，y^i是預測值，n是樣本數量。

殘差標準誤差（RSE）

RSE是評估殘差的離散程度的指標。它的計算公式為：

RSE = sqrt((∑(yi−y^i)^2)/df)

其中，df是自由度，代表樣本數量減去模型引數數量。

F統計量

F統計量用於評估模型的整體效能。它比較了完整模型與只有截距項的模型之間的差異。

t統計量

t統計量用於評估個別係數的顯著性。一個大的t統計量（或遠離零）和一個小的p值，表明該係數在統計學上是顯著的。

調整R平方（Adjusted R-squared）

調整R平方是對R平方的一種修正，用於評估模型的適合度。它考慮了模型中預測變數的數量，避免了過度擬合的問題。

AIC和BIC

AIC和BIC是用於模型選擇的指標。它們平衡了模型的適合度和複雜度。模型中AIC或BIC越小，表明模型越好。

杜賓-沃森統計量（Durbin-Watson Statistic）

杜賓-沃森統計量用於檢測時間序列資料中的自相關性。

變異數膨脹因子（VIF）

VIF是評估預測變數之間相關性的指標。它可以幫助檢測多重共線性問題。

使用Python進行線性迴歸分析

以下是使用Python進行線性迴歸分析的例子：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 生成隨機資料
np.random.seed(0)
x = np.random.rand(100, 1)
y = 3 + 2 * x + np.random.randn(100, 1)

# 建立線性迴歸模型
model = LinearRegression()
model.fit(x, y)

# 預測
y_pred = model.predict(x)

# 繪製資料點和預測線
plt.scatter(x, y)
plt.plot(x, y_pred, color='red')
plt.show()

這個例子使用NumPy生成隨機資料，然後使用scikit-learn函式庫建立線性迴歸模型，最後繪製資料點和預測線。

線性迴歸分析的應用

線性迴歸分析在各個領域都有廣泛的應用，例如：

  • 預測股票價格
  • 分析消費者行為
  • 評估醫療治療效果
  • 預測氣候變化

線性迴歸分析是一種強大的工具，可以幫助我們瞭解變數之間的關係，並做出預測和決策。

線性迴歸模型的建立與應用

在瞭解了經驗年數與薪水之間的關係後，我們可以使用線性迴歸模型來描述這種關係。線性迴歸是一種常用的統計方法，旨在建立自變數（經驗年數）和因變數（薪水）之間的線性關係。

資料生成

首先，我們需要生成一些資料來模擬經驗年數與薪水之間的關係。假設我們有一組經驗年數的資料，記為 X，以及對應的薪水資料，記為 y。我們可以使用 NumPy 來生成這些資料。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 生成經驗年數資料
X = 2.5 * np.random.rand(100, 1)

# 生成薪水資料，假設基礎薪水為 5，每年經驗增加 3 單位，同時加入一些隨機噪聲
y = 5 + 3 * X + np.random.randn(100, 1)

資料視覺化

接下來，我們可以使用 Matplotlib 來視覺化這些資料，觀察經驗年數與薪水之間的關係。

# 繪製散點圖
plt.scatter(X, y)

# 設定標題和軸標籤
plt.xlabel("Years of Experience")
plt.ylabel("Salary")
plt.title("Experience vs. Salary")

# 顯示圖片
plt.show()

線性迴歸模型的建立

現在，我們可以使用 Scikit-learn 來建立一個線性迴歸模型，描述經驗年數與薪水之間的關係。

# 建立線性迴歸模型
reg = LinearRegression()

# 將模型套用到資料上
reg.fit(X, y)

模型應用

建立好模型後，我們可以使用它來預測新的資料。例如，如果我們想要知道某個具有特定經驗年數的人的預期薪水，我們可以使用模型的 predict 方法。

# 預測某個經驗年數對應的薪水
new_experience = [[1.5]]  # 1.5 年的經驗
predicted_salary = reg.predict(new_experience)
print(f"具有 {new_experience[0][0]} 年經驗的人的預期薪水：{predicted_salary[0][0]}")

這樣，我們就完成了線性迴歸模型的建立和應用，成功地描述了經驗年數與薪水之間的關係，並可以使用這個模型進行預測。

線性迴歸模型的建立與視覺化

在進行線性迴歸分析時，我們首先需要建立一個模型來描述資料之間的關係。以下是建立模型和視覺化的步驟：

步驟1：建立線性迴歸模型

from sklearn.linear_model import LinearRegression
import numpy as np

# 假設X為年資，y為薪水
X = np.array([1, 2, 3, 4, 5]).reshape((-1, 1))
y = np.array([10000, 12000, 14000, 16000, 18000])

# 建立線性迴歸模型
reg = LinearRegression()

# 將模型套用至資料
reg.fit(X, y)

步驟2：取得迴歸係數

# 取得截距（基礎薪水）
intercept = reg.intercept_[0]
print(f"截距（基礎薪水）：{intercept:.2f}")

# 取得斜率（年資每增加一年的薪水增長）
slope = reg.coef_[0]
print(f"斜率（年資每增加一年的薪水增長）：{slope:.2f}")

步驟3：視覺化迴歸線

# 預測薪水
y_pred = reg.predict(X)

# 匯入matplotlib函式庫
import matplotlib.pyplot as plt

# 繪製散點圖和迴歸線
plt.scatter(X, y)
plt.plot(X, y_pred, color='red')

# 設定座標軸標題和圖表標題
plt.xlabel("年資")
plt.ylabel("薪水")
plt.title("年資與薪水的關係")

# 顯示圖表
plt.show()

在這個過程中，我們使用scikit-learn的LinearRegression類別建立了一個線性迴歸模型，然後使用這個模型預測薪水。最後，我們使用matplotlib繪製了資料點和迴歸線的圖表，以視覺化的方式呈現年資和薪水之間的關係。

評估模型

最後，我們計算RMSE來評估模型的效能。

from sklearn.metrics import mean_squared_error
import numpy as np

rmse = np.sqrt(mean_squared_error(y, y_pred))
print(f"根據實際資料，模型的預測誤差為：{rmse:.2f}")

在這一步驟中，我們使用scikit-learn中的mean_squared_error函式來計算MSE。然後，對MSE取平方根得到RMSE，表示模型的預測誤差與目標變數的單位相同。

這整個過程使我們能夠瞭解經驗和薪水之間的關係，使用線性迴歸對其進行建模，並評估模型的效能。

線性迴歸例項

首先，我們匯入必要的函式庫，然後載入資料集。接下來，我們建立一個線性迴歸模型，並使用fit方法將模型適應資料。

from sklearn.linear_model import LinearRegression
import numpy as np

# 載入資料集
X = np.array([...])  # 特徵資料
y = np.array([...])  # 目標變數

# 建立線性迴歸模型
reg = LinearRegression()

# 適應模型
reg.fit(X, y)

然後，我們可以從適應的模型中提取截距和斜率。

intercept = reg.intercept_[0]
slope = reg.coef_[0]

最後，讓我們使用這些引數繪製最佳擬合線。

import matplotlib.pyplot as plt

# 繪製資料點
plt.scatter(X, y)

# 繪製最佳擬合線
plt.plot(X, reg.predict(X), color='red')

plt.show()

這將顯示兩個圖表：資料點圖和最佳擬合線圖。

使用GPT-4進行線性迴歸

以下是使用GPT-4進行線性迴歸的範例。首先，我們載入death.csv資料集。

import pandas as pd

# 載入death.csv資料集
data = pd.read_csv('death.csv')

然後，我們可以使用線性迴歸對資料進行建模。

from sklearn.linear_model import LinearRegression

# 建立線性迴歸模型
reg = LinearRegression()

# 適應模型
reg.fit(data[['age_adjusted_death_rate']], data['average_deaths_per_year'])

最後，讓我們評估模型的效能。

from sklearn.metrics import mean_squared_error
import numpy as np

y_pred = reg.predict(data[['age_adjusted_death_rate']])
rmse = np.sqrt(mean_squared_error(data['average_deaths_per_year'], y_pred))
print(f"根據實際資料，模型的預測誤差為：{rmse:.2f}")

這將給出模型的RMSE值，表示模型的預測誤差與目標變數的單位相同。

線性迴歸分析與資料探索

在進行線性迴歸分析之前，瞭解資料集的特徵和結構是非常重要的。這個資料集包含了美國各縣的死亡率相關資料，包括縣名、FIPS碼、是否達到特定目標、年齡調整後的死亡率等指標。

資料集特徵描述

  • 縣名（county）：縣名是一個分類別（類別）變數，代表每個資料點的縣級行政區域。例如，“美國”、“肯塔基州佩裡縣”和“肯塔基州鮑威爾縣”。
  • FIPS碼（fips）：FIPS碼是一個數值變數，代表每個縣的聯邦資訊處理標準碼，是一個唯一的識別碼。例如，0代表美國整體，21193和21197代表不同的縣。
  • 是否達到目標（met_objective_of_45_5_1）：這是一個二元分類別變數，指示是否達到某個特定的死亡率目標（可能是45.5）。它的值可以是“是”或“否”，用於評估和比較不同縣對於某一標準或目標的表現。
  • 年齡調整死亡率（age_adjusted_death_rate）：這是一個數值變數，代表了根據年齡分佈調整後的死亡率。它允許不同年齡結構的地區之間進行比較。例如，46、125.6和125.3。
  • 下限95%信賴區間（lower_95_confidence_interval_for_death_rate）和上限95%信賴區間（upper_95_confidence_interval_for_death_rate）：這兩個變數分別代表了死亡率的下限和上限95%信賴區間，用於估計真實死亡率的範圍。

從技術架構視角來看，Seaborn的KDE和Ridge圖表提供了一種有效的方法來視覺化資料的分佈和密度。藉由Kernel Density Estimation技術，KDE圖能平滑化直方圖，呈現更清晰的機率密度曲線，而Ridge圖則更進一步，允許跨類別比較這些分佈，揭示資料中潛藏的模式。然而，這些圖表並非適用於所有情況。對於高維資料或極端值較多的資料集，KDE和Ridge圖的解讀需要格外謹慎，因為核密度估計的平滑化效果可能掩蓋資料的某些細微特徵，甚至造成誤導。技術團隊在應用這些視覺化工具時，應仔細考量資料特性和分析目標，並結合其他統計方法進行交叉驗證，才能更準確地解讀資料，避免落入視覺化陷阱。展望未來，隨著資料視覺化技術的持續發展，預計會有更多更精細的工具出現，幫助我們更有效地探索和理解複雜資料集。對於注重資料分析和洞察的團隊來說，持續學習和應用這些新技術將至關重要。玄貓認為，精通這些視覺化工具，並理解其底層的統計學原理，才能真正將資料轉化為有價值的洞察。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。