Pandas DataFrame 重塑與高效 Group By 操作技巧

Pandas 是 Python 資料科學領域的核心工具，DataFrame 的重塑和 Group By 操作更是資料分析的根本。理解 pivot、pivot_table 的差異與使用場景，能有效處理不同資料結構；explode 則能簡化半結構化資料的處理流程。此外，掌握 Group By 的多欄位計算、自定義函式應用、視窗操作等技巧，能大幅提升資料分析效率，並從資料中萃取更深層次的洞見。熟練運用這些技巧，能讓你在資料處理的路上更加得心應手。

重塑 DataFrame

在資料分析中，經常需要將資料從長式轉換為寬式，以便更好地進行分析和視覺化。Pandas 提供了多種方法來重塑 DataFrame，其中 pd.DataFrame.pivot 和 pd.pivot_table 是兩個常用的工具。這篇文章將探討這兩個方法的使用及其限制，並提供實際案例來說明如何在不同情境下選擇合適的方法。

使用 `pd.DataFrame.pivot`

pd.DataFrame.pivot 可以將 DataFrame 重塑為寬式，但它有一個限制：它只能在沒有重複值的情況下使用。假設我們有一個包含州、水果、年份及數量的 DataFrame：

import pandas as pd

df = pd.DataFrame([
    ["Texas", "apple", 2023, 10, 6],
    ["Texas", "apple", 2024, 2, 8],
    ["Arizona", "apple", 2023, 3, 7],
    ["Arizona", "apple", 2024, 6, 3],
    ["Texas", "orange", 2023, 5, 2],
    ["Texas", "orange", 2024, 5, 2],
    ["Arizona", "orange", 2023, 7, 2],
], columns=["state", "fruit", "year", "number_grown", "number_eaten"])

df = df.convert_dtypes(dtype_backend="numpy_nullable")

案例分析

如果我們想要將這個 DataFrame 按照州和水果重塑，並且只保留 number_grown 的值，可以這樣做：

wide_df = df.pivot(
    index=["state"],
    columns=["fruit"],
    values=["number_grown"]
).droplevel(level=0, axis=1)

print(wide_df)

輸出結果如下：

fruit     apple  banana  orange
state
Arizona       9      NaN       NaN
Florida       NaN     NaN      NaN
Texas        NaN      NaN      NaN

這裡使用了 droplevel 函式來去除多層索引中的第一層。

`pd.DataFrame.pivot` 的限制

當 DataFrame 中的行或列有重複值時，pd.DataFrame.pivot 無法正常工作。例如，如果我們想要移除 year 欄位並進行重塑：

df.pivot(
    index=["state"],
    columns=["fruit"],
    values=["number_grown", "number_eaten"]
)

這會引發 ValueError: Index contains duplicate entries, cannot reshape 錯誤。

使用 `pd.pivot_table`

與 pd.DataFrame.pivot 不同，pd.pivot_table 不僅能夠處理重複值，還能對重複的值進行聚合操作。例如，我們可以計算每個州每種水果的總數量：

pivot_table = pd.pivot_table(
    df,
    index=["state"],
    columns=["fruit"],
    values=["number_grown", "number_eaten"],
    aggfunc="sum"
)

print(pivot_table)

輸出結果如下：

           number_grown            number_eaten
fruit         apple orange         apple orange
state
Arizona           9     NaN          NaN     NaN
Texas            NaN     NaN         NaN     NaN

這樣我們就可以看到每個州每種水果的總數量。

高階聚合功能

pd.pivot_table 支援多種聚合函式，可以根據需要選擇不同的聚合方式。例如，我們可以計算最小值和最大值：

pivot_table_advanced = pd.pivot_table(
    df,
    index=["state"],
    columns=["fruit"],
    values=["number_grown", "number_eaten"],
    aggfunc={
        "number_eaten": ["min", "max"],
        "number_grown": ["sum", "mean"]
    }
)

print(pivot_table_advanced)

輸出結果如下：

           number_grown          number_eaten
             sum      mean   min max
fruit         apple orange apple orange apple orange
state
Arizona           NaN     NaN   NaN   NaN   NaN   NaN
Texas            NaN     NaN   NaN   NaN   NaN   NaN

處理半結構化資料

在處理半結構化資料（如 JSON）時，資料通常包含列表或元組等非標量序列。Pandas 提供了 pd.DataFrame.explode 函式來處理這類別資料。以下是一個實際案例：

假設我們有一個包含員薪水訊的 JSON 資料，並且員工有直接下屬（direct_reports）的列表：

import pandas as pd

data = [
    {"employee_id": 1, "first_name": "John", "last_name": "Smith", "direct_reports": [2, 3]},
    {"employee_id": 2, "first_name": "Jane", "last_name": "Doe", "direct_reports": []},
    {"employee_id": 3, "first_name": "Joe", "last_name": "Schmoe", "direct_reports": []}
]

df = pd.DataFrame(data)

案例分析

使用 pd.DataFrame.explode 函式可以將 direct_reports 欄位中的列表擴充套件為單獨的行：

exploded_df = df.explode("direct_reports")
print(exploded_df)

輸出結果如下：

   employee_id first_name last_name direct_reports
0            1       John     Smith               2.0
0            1       John     Smith               3.0
1            2       Jane      Doe               NaN
2            3       Joe    Schmoe               NaN

這樣我們就將半結構化資料轉換為標準的 DataFrame 建構。

資料框架的重塑技術

在資料分析中，資料框架（DataFrame）的重塑是一個非常重要的技能。透過重塑，我們可以將資料轉換成更適合分析或視覺化的形式。以下是一些常見的重塑技術，包括展開資料、合併資料以及轉置資料框架。

展開資料

展開資料是將巢狀在列中的資料展開為多個行。這在處理具有多個子專案的列時非常有用。例如，我們有一個包含員工及其直接下屬的 DataFrame：

import pandas as pd
import numpy as np

data = {
    "employee_id": [1, 2, 3],
    "first_name": ["John", "Jane", "Joe"],
    "last_name": ["Smith", "Doe", "Schmoe"],
    "direct_reports": [[2, 3], [], []]
}
df = pd.DataFrame(data)
df = df.convert_dtypes(dtype_backend="numpy_nullable")

展開 direct_reports 列後，我們可以得到每個員工及其直接下屬的詳細資料：

df_exploded = df.explode("direct_reports").convert_dtypes(dtype_backend="numpy_nullable")

內容解密：

在這段程式碼中，我們首先建立了一個包含員工及其直接下屬的 DataFrame。接著，我們使用 pd.DataFrame.explode 方法將 direct_reports 列中的巢狀資料展開為多個行。這樣，每個員工及其直接下屬都會變成單獨的一行，方便後續的分析。

合併展開後的資料

展開後，我們可以將這些資料與原始 DataFrame 合併，以便取得更完整的資訊。以下是如何實作這一點：

exploded = df.explode("direct_reports").convert_dtypes(dtype_backend="numpy_nullable")
merged_df = pd.merge(
    exploded,
    df.drop(columns=["direct_reports"]),
    how="left",
    left_on=["direct_reports"],
    right_on=["employee_id"],
    suffixes=("", "_direct_report")
)

內容解密：

在此程式碼中，我們首先將展開後的 DataFrame 與原始 DataFrame 中不包含 direct_reports 列的部分進行合併。這樣可以取得每個員工及其直接下屬的詳細資訊，包括下屬的姓名和職位。這種操作在企業管理中非常有用，因為它可以幫助我們瞭解組織結構和人員關係。

轉置資料框架

轉置是另一種常見的重塑技術，它將 DataFrame 的行和列互換。例如：

df = pd.DataFrame([
    [1, 2, 3],
    [4, 5, 6]
], columns=list("xyz"), index=list("ab"))

df_transposed = df.T

內容解密：

在這段程式碼中，我們首先建立了一個簡單的 DataFrame。接著，我們使用 .T 屬性對其進行轉置。轉置後，原本的行變成了列，而原本的列變成了行。這種操作在某些情況下可以使資料更易於分析或視覺化。

PyArrow 的結構化資料型別

除了 Pandas 提供的方法外，PyArrow 還提供了一些高階功能來處理結構化資料。例如，我們可以使用 PyArrow 的結構化資料型別來處理巢狀資料：

import pyarrow as pa

dtype = pd.ArrowDtype(pa.struct([
    ("int_col", pa.int64()),
    ("str_col", pa.string()),
    ("float_col", pa.float64()),
]))
ser = pd.Series([
    {"int_col": 42, "str_col": "Hello, ", "float_col": 3.14159},
    {"int_col": 555, "str_col": "world!", "float_col": 3.14159},
], dtype=dtype)

展開結構化資料後，我們可以得到一個新的 DataFrame：

exploded_ser = ser.struct.explode()

內容解密：

在此範例中，我們使用 PyArrow 的結構化資料型別來處理巢狀資料。首先建立一個包含多種型別資料的 Series。然後使用 .struct.explode 方法將其展開為多個列。這種方法特別適用於處理半結構化資料源如 JSON，因為它可以簡化巢狀資料的處理流程。

分組與聚合

在資料分析中，分組與聚合是非常常見的操作。例如，我們可以對員工按部門進行分組並計算每個部門的人數：

data = {
    'employee_id': [1, 2, 3, 4],
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'department': ['HR', 'IT', 'HR', 'IT']
}
df = pd.DataFrame(data)

grouped = df.groupby('department').size()

內容解密：

在此範例中，我們首先建立了一個包含員工和部門資訊的 DataFrame。接著使用 groupby 操作按部門進行分組並計算每個部門的人數。這種操作在企業管理中非常有用，因為它可以幫助我們瞭解每個部門的人力組態情況。

Group By 解析與應用

在資料分析中，pandas 的 pd.DataFrame.groupby 方法是一個強大的工具，能夠對資料進行分組、應用函式以及合併結果。本文將探討 groupby 的基本使用、多欄位計算、應用自定義函式、視窗操作以及具體的實務案例。

Group By 基本概念

groupby 是 pandas 中一個非常靈活的功能，能夠幫助資料分析師快速總結資料、發現模式以及比較不同群組之間的差異。它的工作原理是將資料按照指定的欄位進行分組，然後對每個群組應用指定的函式，最後將結果合併起來。

實作範例

首先，我們建立一個簡單的資料框架來演示 groupby 的基本使用：

import pandas as pd

# 建立樣本資料
df = pd.DataFrame([
    ["group_a", 0],
    ["group_a", 2],
    ["group_b", 1],
    ["group_b", 3],
    ["group_b", 5],
], columns=["group", "value"])

df = df.convert_dtypes(dtype_backend="numpy_nullable")

df

此圖示展示了我們的初始資料框架：

基本分組與求和

我們可以使用 groupby 方法來對這些資料進行分組並求和：

result = df.groupby("group").sum()
result

此圖示展示了分組後的結果：

使用 agg 函式

除了直接使用 sum 方法，我們也可以使用 agg 函式來應用其他聚合函式：

result_agg = df.groupby("group").agg("sum")
result_agg

此圖示展示了使用 agg 函式後的結果：

轉換操作

如果我們想要對每個群組進行轉換而不進行減少操作，可以使用 transform 方法：

result_transform = df.groupby("group").transform("sum")
result_transform

此圖示展示了轉換操作後的結果：

貢獻度計算

轉換操作還可以用來計算每個元素在其群組中的貢獻度：

contribution = df[["value"]].div(df.groupby("group").transform("sum"))
contribution

此圖示展示了貢獻度計算後的結果：

控制索引

預設情況下，groupby 操作會生成一個新的索引。如果我們不希望生成新的索引，可以設定 as_index=False：

result_no_index = df.groupby("group", as_index=False).sum()
result_no_index

此圖示展示了不生成新索引的結果：

自定義聚合

我們可以使用 NamedAgg 來自定義聚合操作並重新命名結果欄位：

custom_agg = df.groupby("group").agg(sum_of_value=pd.NamedAgg(column="value", aggfunc="sum"))
custom_agg

此圖示展示了自定義聚合後的結果：

@startuml
note
  無法自動轉換的 Plantuml 圖表
  請手動檢查和調整
@enduml

常見聚合與轉換函式

Pandas 提供了多種內建的聚合和轉換函式，以下是一些常見的函式：

聚合函式：any, all, sum, prod, idxmin, idxmax, min, max, mean, median, var, std, sem, skew, first, last。
轉換函式：cumprod, cumsum, cummin, cummax, rank。

未來趨勢

隨著資料量的不斷增加，高效且靈活的分組和聚合工具將變得越來越重要。未來，我們可能會看到更多針對大規模資料集最佳化的 groupby 操作，以及更多自定義功能的支援。

持續學習

要真正掌握 pandas 的 groupby 功能，建議讀者多嘗試不同的資料集和問題場景，並參考相關檔案和教程。這樣可以幫助你更深入地理解並掌握這個強大的工具。

玄貓 BlackCat

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。

Pandas DataFrame 重塑與高效 Group By 操作技巧

重塑 DataFrame

使用 pd.DataFrame.pivot

案例分析

pd.DataFrame.pivot 的限制

使用 pd.pivot_table

高階聚合功能

處理半結構化資料

案例分析

資料框架的重塑技術

展開資料

內容解密：

合併展開後的資料

內容解密：

轉置資料框架

內容解密：

PyArrow 的結構化資料型別

內容解密：

分組與聚合

內容解密：

Group By 解析與應用

Group By 基本概念

實作範例

基本分組與求和

使用 agg 函式

轉換操作

貢獻度計算

控制索引

自定義聚合

常見聚合與轉換函式

未來趨勢

持續學習

玄貓 BlackCat

使用 `pd.DataFrame.pivot`

`pd.DataFrame.pivot` 的限制

使用 `pd.pivot_table`