Pandas Polars 資料結構分析與視覺化

– 13 分鐘閱讀

Pandas 作為老牌 Python 資料科學函式庫，其 Series 和 DataFrame 資料結構已成為資料處理的基本。然而，新興的 Polars 函式庫以其卓越的效能和更簡潔的 API，正逐漸受到關注。本文除了介紹 Pandas 的核心資料結構外，也將探討如何利用 Polars 進行高效的資料操作，並使用 Seaborn 將資料以視覺化方式呈現，提升資料分析效率。Polars 的列式儲存和平行處理機制使其在大資料集上表現出色，而 Seaborn 則提供了豐富的視覺化工具，可以建立直方圖、條形圖等多種統計圖形，並可透過調色盤自定義視覺效果。兩種工具的結合，為資料科學家提供了更全面的資料處理和分析解決方案。

探索Pandas資料結構：Series和Dataframe

簡介

在Python的資料科學世界中，Pandas是一個非常重要的函式庫，它提供了高效的資料結構和資料分析工具。其中，Series和Dataframe是Pandas中兩個最基本的資料結構。在本文中，我們將探索Pandas Series和Dataframe的基本概念、建立方法以及應用場景。

結構

Pandas Series是一維的標籤資料結構，類別似於一維陣列或列表，但它可以包含更多的後設資料，如索引標籤。另一方面，Pandas Dataframe是一個二維的表格資料結構，類別似於Excel表格或SQL表格。

目標

  • 瞭解Pandas Series和Dataframe的基本概念
  • 學習如何建立和操作Pandas Series和Dataframe
  • 探索Pandas Series和Dataframe在資料科學中的應用場景

Pandas Series

Pandas Series是一個一維的標籤資料結構，它可以包含更多的後設資料，如索引標籤。Series可以透過多種方式建立，例如從列表、字典或其他資料結構中建立。

建立Pandas Series

import pandas as pd

# 從列表建立Series
data = [1, 2, 3, 4, 5]
series = pd.Series(data)
print(series)

# 從字典建立Series
data = {'a': 1, 'b': 2, 'c': 3}
series = pd.Series(data)
print(series)

Pandas Dataframe

Pandas Dataframe是一個二維的表格資料結構，類別似於Excel表格或SQL表格。Dataframe可以透過多種方式建立，例如從字典、列表或其他資料結構中建立。

建立Pandas Dataframe

import pandas as pd

# 從字典建立Dataframe
data = {'Name': ['Tom', 'Nick', 'John'],
        'Age': [20, 21, 19]}
df = pd.DataFrame(data)
print(df)

# 從列表建立Dataframe
data = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
df = pd.DataFrame(data)
print(df)

內容解密：

  • pd.Series()函式用於建立Pandas Series。
  • pd.DataFrame()函式用於建立Pandas Dataframe。
  • Series和Dataframe都可以透過多種方式建立，例如從列表、字典或其他資料結構中建立。
  • Series是一維的標籤資料結構，而Dataframe是一個二維的表格資料結構。

圖表翻譯：

  graph LR
    A[Pandas Series] -->|是一維的標籤資料結構|> B[類別似於一維陣列或列表]
    C[Pandas Dataframe] -->|是一個二維的表格資料結構|> D[類別似於Excel表格或SQL表格]
    E[建立Series] -->|可以透過多種方式建立|> F[從列表、字典或其他資料結構中建立]
    G[建立Dataframe] -->|可以透過多種方式建立|> H[從字典、列表或其他資料結構中建立]

圖表翻譯：

  • 上述Mermaid圖表展示了Pandas Series和Dataframe的基本概念和建立方法。
  • Pandas Series是一維的標籤資料結構，而Pandas Dataframe是一個二維的表格資料結構。
  • Series和Dataframe都可以透過多種方式建立，例如從列表、字典或其他資料結構中建立。

Pandas DataFrame 建立與操作

Pandas 是 Python 中一個強大的資料分析函式庫，提供了 DataFrame 這種資料結構來儲存和操作二維表格資料。以下是建立和操作 Pandas DataFrame 的一些方法和屬性。

建立 DataFrame

可以使用 pd.DataFrame() 函式建立一個新的 DataFrame。例如：

import pandas as pd

data = {'Name': ['John', 'Mary', 'David'], 
        'Age': [25, 31, 42]}
df = pd.DataFrame(data)
print(df)

這將輸出：

     Name  Age
0    John   25
1    Mary   31
2   David   42

DataFrame 方法和屬性

Pandas DataFrame 有許多方法和屬性可以用來操作和分析資料。例如：

  • df.head(): 顯示 DataFrame 的前幾行。
  • df.info(): 顯示 DataFrame 的基本資訊，包括索引、列名和資料型別。
  • df.describe(): 顯示 DataFrame 的統計資訊，包括均值、標準差、最小值和最大值。

刪除含有 Null 值的行

可以使用 df.dropna() 方法刪除含有 Null 值的行。例如：

df = pd.DataFrame({'A': [1, 2, None, 4], 
                  'B': [5, None, 7, 8]})
df = df.dropna()
print(df)

這將輸出：

   A    B
0  1.0  5.0
3  4.0  8.0

算術運運算元

可以使用算術運運算元對 DataFrame 進行運算。例如：

df1 = pd.DataFrame({'A': [1, 2, 3], 
                   'B': [4, 5, 6]})
df2 = pd.DataFrame({'A': [7, 8, 9], 
                   'B': [10, 11, 12]})
df = df1 + df2
print(df)

這將輸出：

   A   B
0  8  14
1 10  16
2 12  18

新增欄位

可以使用 df['新欄位'] = 值 的方式新增欄位。例如：

df = pd.DataFrame({'A': [1, 2, 3], 
                  'B': [4, 5, 6]})
df['C'] = df['A'] + df['B']
print(df)

這將輸出：

   A  B   C
0  1  4   5
1  2  5   7
2  3  6   9

使用 fillna() 方法

可以使用 fillna() 方法填充 Null 值。例如：

df = pd.DataFrame({'A': [1, 2, None, 4], 
                  'B': [5, None, 7, 8]})
df = df.fillna(0)
print(df)

這將輸出：

   A    B
0  1.0  5.0
1  2.0  0.0
2  0.0  7.0
3  4.0  8.0

排序值

可以使用 df.sort_values() 方法排序值。例如：

df = pd.DataFrame({'A': [3, 2, 1, 4], 
                  'B': [5, 6, 7, 8]})
df = df.sort_values(by='A')
print(df)

這將輸出：

   A  B
2  1  7
1  2  6
0  3  5
3  4  8

篩選資料

可以使用 df[df['欄位'] == 值] 的方式篩選資料。例如：

df = pd.DataFrame({'A': [1, 2, 3, 4], 
                  'B': [5, 6, 7, 8]})
df = df[df['A'] == 2]
print(df)

這將輸出：

   A  B
1  2  6

檢查 Null 值

可以使用 df.isnull() 方法檢查 Null 值。例如：

df = pd.DataFrame({'A': [1, 2, None, 4], 
                  'B': [5, None, 7, 8]})
print(df.isnull())

這將輸出：

       A      B
0  False  False
1  False   True
2   True  False
3  False  False

檢查重複值

可以使用 df.duplicated() 方法檢查重複值。例如：

df = pd.DataFrame({'A': [1, 2, 2, 4], 
                  'B': [5, 6, 6, 8]})
print(df.duplicated())

這將輸出：

0    False
1    False
2     True
3    False

刪除重複值

可以使用 df.drop_duplicates() 方法刪除重複值。例如：

df = pd.DataFrame({'A': [1, 2, 2, 4], 
                  'B': [5, 6, 6, 8]})
df = df.drop_duplicates()
print(df)

這將輸出：

   A  B
0  1  5
1  2  6
3  4  8

進階DataFrame篩選技術

簡介

在資料分析中，篩選和操作DataFrame是一項基本且重要的技能。Pandas提供了多種方法來篩選和操作DataFrame，包括使用索引、篩選條件、apply()方法等。在本文中，我們將探討一些進階的DataFrame篩選技術，包括自訂列作為索引、使用apply()方法、篩選文字資料等。

結構

  1. 自訂列作為索引
  2. 使用apply()方法
  3. 篩選文字資料
  4. 修改資料
  5. 資料彙總

目標

  • 學習如何自訂列作為索引
  • 學習如何使用apply()方法對DataFrame進行操作
  • 學習如何篩選文字資料
  • 學習如何修改資料
  • 學習如何進行資料彙總

自訂列作為索引

在Pandas中，可以使用set_index()方法將自訂列設為索引。例如：

import pandas as pd

# 建立一個簡單的DataFrame
data = {'Name': ['John', 'Mary', 'David'], 
        'Age': [25, 31, 42]}
df = pd.DataFrame(data)

# 將'Name'列設為索引
df.set_index('Name', inplace=True)

print(df)

輸出：

         Age
Name       
John      25
Mary      31
David     42

使用apply()方法

apply()方法可以對DataFrame的每一行或每一列進行操作。例如：

import pandas as pd

# 建立一個簡單的DataFrame
data = {'Name': ['John', 'Mary', 'David'], 
        'Age': [25, 31, 42]}
df = pd.DataFrame(data)

# 使用apply()方法將'Age'列乘以2
df['Age'] = df['Age'].apply(lambda x: x * 2)

print(df)

輸出：

     Name  Age
0    John   50
1    Mary   62
2   David   84

篩選文字資料

Pandas提供了多種方法來篩選文字資料，包括使用str.contains()、str.startswith()、str.endswith()等方法。例如：

import pandas as pd

# 建立一個簡單的DataFrame
data = {'Name': ['John', 'Mary', 'David'], 
        'City': ['New York', 'Los Angeles', 'Chicago']}
df = pd.DataFrame(data)

# 篩選包含'New'的城市
df_filtered = df[df['City'].str.contains('New')]

print(df_filtered)

輸出：

   Name        City
0  John    New York

修改資料

Pandas提供了多種方法來修改資料，包括使用loc[]、iloc[]等方法。例如：

import pandas as pd

# 建立一個簡單的DataFrame
data = {'Name': ['John', 'Mary', 'David'], 
        'Age': [25, 31, 42]}
df = pd.DataFrame(data)

# 修改'Age'列的值
df.loc[0, 'Age'] = 30

print(df)

輸出：

   Name  Age
0  John   30
1  Mary   31
2  David  42

資料彙總

Pandas提供了多種方法來進行資料彙總，包括使用groupby()、pivot_table()等方法。例如：

import pandas as pd

# 建立一個簡單的DataFrame
data = {'Name': ['John', 'Mary', 'David', 'John', 'Mary', 'David'], 
        'City': ['New York', 'Los Angeles', 'Chicago', 'New York', 'Los Angeles', 'Chicago'],
        'Sales': [100, 200, 300, 400, 500, 600]}
df = pd.DataFrame(data)

# 進行資料彙總
df_grouped = df.groupby('City')['Sales'].sum()

print(df_grouped)

輸出：

City
Chicago     900
Los Angeles  700
New York    500
Name: Sales, dtype: int64

探索 Polars 函式庫：Python 中的資料科學新選擇

簡介

在 Python 的資料科學世界中，Pandas 函式庫長期佔據著重要地位。然而，近年來，Polars 函式庫開始受到關注。Polars 是一個新的、快速且高效的資料處理函式庫，旨在提供比 Pandas 更好的效能和功能。這篇文章將探討 Polars 函式庫的優點、與 Pandas 的差異、資料型別、資料結構等方面。

結構

本文將分為以下幾個部分：

  1. Polars 的優點：介紹 Polars 相較於 Pandas 的優勢。
  2. Polars 和 Pandas 的差異：比較兩個函式庫的不同之處。
  3. Polars 的資料型別：詳細介紹 Polars 中的各種資料型別，包括數值型別、巢狀型別、時間型別等。
  4. Polars 的資料結構：探討 Polars 中的 Series 和 DataFrame 等資料結構。

目標

透過本文，讀者將能夠：

  • 瞭解 Polars 函式庫的優點和特點。
  • 掌握 Polars 和 Pandas 之間的差異。
  • 熟悉 Polars 中的各種資料型別和資料結構。

Polars 的優點

相較於 Pandas，Polars 有以下幾個優點：

  • 更快的效能：Polars 的效能比 Pandas 快很多，尤其是在大規模資料處理時。
  • 更低的記憶體佔用：Polars 需要的記憶體比 Pandas 少，這使得它更適合於大規模資料處理。
  • 更簡單的 API：Polars 的 API 比 Pandas 更簡單、更直觀。

Polars 和 Pandas 的差異

Polars 和 Pandas 之間有以下幾個主要差異：

  • 資料模型：Polars 使用了一種新的資料模型，稱為「列儲存」，而 Pandas 使用的是「行儲存」。
  • 效能最佳化：Polars 對效能進行了最佳化，使用了更多的平行處理和快取機制。

Polars 的資料型別

Polars 中的資料型別可以分為以下幾個群組：

  • 數值群組：包括整數、浮點數等數值型別。
  • 巢狀群組：包括列表、字典等巢狀型別。
  • 時間群組：包括日期、時間等時間型別。
  • 其他群組：包括字串、布林等其他型別。

Polars 的資料結構

Polars 中的資料結構包括：

  • Series：是一維的資料結構，類別似於 Pandas 的 Series。
  • DataFrame：是二維的資料結構，類別似於 Pandas 的 DataFrame。

內容解密：

在上述章節中，我們簡要介紹了 Polars 函式庫的優點、與 Pandas 的差異、資料型別和資料結構。下一節將更深入地探討 Polars 中的 Series 和 DataFrame 等資料結構。

import polars as pl

# 建立一個 Series
s = pl.Series([1, 2, 3, 4, 5])

# 建立一個 DataFrame
df = pl.DataFrame({"name": ["Alice", "Bob", "Charlie"], "age": [25, 30, 35]})

圖表翻譯：

此圖示為 Polars 中的 Series 和 DataFrame 結構。

  graph LR
    A[Series] --> B[一維資料結構]
    C[DataFrame] --> D[二維資料結構]

圖表翻譯：

此圖示展示了 Polars 中的 Series 和 DataFrame 之間的關係。

  graph LR
    A[Series] -->|包含|> B[DataFrame]
    B -->|由|> A

探索 Polars 中的表示式

Polars 是一個強大的資料處理函式庫，提供了高效且靈活的資料操作方式。在 Polars 中，表示式（Expressions）是一個核心概念，允許使用者以宣告式的方式定義資料轉換和操作。本文將深入探討 Polars 中的表示式，包括基本運運算元、欄位選擇、函式、型別轉換、字串操作、聚合運算、缺失資料處理、折疊運算（Folds）以及列表和陣列操作。

基本運運算元

Polars 支援各種基本運運算元，包括算術運運算元（如 +、-、*、/）、比較運運算元（如 ==、!=、>、<）、邏輯運運算元（如 &、|、!）等。這些運運算元可以用於欄位之間的運算，也可以用於欄位和標量值之間的運算。

import polars as pl

# 建立一個範例 DataFrame
df = pl.DataFrame({
    "A": [1, 2, 3],
    "B": [4, 5, 6]
})

# 使用基本運運算元進行欄位之間的運算
df = df.with_column((pl.col("A") + pl.col("B")).alias("C"))

print(df)

欄位選擇

Polars 提供了多種方式來選擇欄位，包括使用 pl.col() 函式、使用欄位名稱的字串等。欄位選擇是資料操作中的基本步驟，允許使用者從 DataFrame 中選擇出感興趣的欄位。

# 使用 pl.col() 函式選擇欄位
df = df.with_column(pl.col("A").alias("A_selected"))

# 使用欄位名稱的字串選擇欄位
df = df.with_column(pl.col("B").alias("B_selected"))

函式

Polars 提供了豐富的函式庫，包括數學函式、統計函式、字串函式等。這些函式可以用於欄位的轉換和操作。

# 使用數學函式進行欄位轉換
df = df.with_column((pl.col("A") ** 2).alias("A_squared"))

型別轉換

Polars 支援各種型別轉換，包括整數、浮點數、布林值等。型別轉換是資料操作中的重要步驟，允許使用者將欄位轉換為適合的型別。

# 將整數欄位轉換為浮點數欄位
df = df.with_column(pl.col("A").cast(pl.Float64).alias("A_float"))

字串操作

Polars 提供了豐富的字串操作函式，包括字串拼接、字串替換、字串查詢等。字串操作是資料操作中的重要步驟，允許使用者對字串欄位進行轉換和操作。

# 將字串欄位進行拼接
df = df.with_column((pl.col("A").str.cat(pl.col("B"))).alias("AB_concat"))

聚合運算

Polars 支援各種聚合運算，包括求和、求平均、求最大值、求最小值等。聚合運算是資料分析中的重要步驟，允許使用者對資料進行分組和聚合。

# 對欄位進行求和聚合
df = df.groupby("A").agg(pl.sum("B").alias("B_sum"))

缺失資料處理

Polars 提供了豐富的缺失資料處理函式，包括填充缺失值、刪除缺失值等。缺失資料處理是資料預處理中的重要步驟，允許使用者對缺失資料進行處理和轉換。

# 將缺失值填充為 0
df = df.fill_null(0)

折疊運算（Folds）

Polars 支援折疊運算，包括對資料進行分組和聚合。折疊運算是資料分析中的重要步驟，允許使用者對資料進行分組和聚合。

# 對資料進行分組和聚合
df = df.groupby("A").agg(pl.sum("B").alias("B_sum"))

列表和陣列操作

Polars 提供了豐富的列表和陣列操作函式，包括列表拼接、列表替換、陣列查詢等。列表和陣列操作是資料操作中的重要步驟，允許使用者對列表和陣列欄位進行轉換和操作。

# 將列表欄位進行拼接
df = df.with_column((pl.col("A").arr.cat(pl.col("B"))).alias("AB_concat"))

結論，Polars 中的表示式提供了高效且靈活的資料操作方式，允許使用者以宣告式的方式定義資料轉換和操作。透過本文的介紹，讀者可以深入瞭解 Polars 中的表示式，並學習如何使用它們來進行資料操作和分析。

探索Polars和Seaborn：高效資料分析和視覺化

1.

在資料科學中，高效的資料分析和視覺化工具至關重要。Polars是一個相對較新的函式庫，提供了高效能的資料處理能力，而Seaborn則是一個根據Matplotlib的視覺化函式庫，提供了高階別的介面來建立資訊豐富且吸引人的統計圖形。本文將探討Polars和Seaborn的使用方法，比較它們與Pandas的不同之處，並展示如何使用Seaborn進行資料視覺化。

2. Polars和Pandas的比較

Polars和Pandas都是用於資料操作和分析的函式庫，但是它們在效能和功能上有所不同。Polars比Pandas快得多，尤其是在大型資料集上。以下是一個簡單的例子，展示瞭如何使用Polars進行資料操作：

import polars as pl

# 建立一個資料框
df = pl.DataFrame({
    "name": ["Alice", "Bob", "Charlie"],
    "age": [25, 30, 35]
})

# 篩選資料
filtered_df = df.filter(pl.col("age") > 30)

print(filtered_df)

3. Seaborn的基礎

Seaborn是一個根據Matplotlib的視覺化函式庫，提供了高階別的介面來建立資訊豐富且吸引人的統計圖形。以下是一個簡單的例子，展示瞭如何使用Seaborn建立一個直方圖：

import seaborn as sns
import matplotlib.pyplot as plt

# 載入tips資料集
tips = sns.load_dataset("tips")

# 建立一個直方圖
sns.histplot(tips["total_bill"])

# 顯示圖形
plt.show()

4. Seaborn的顏色調色盤

Seaborn提供了多種顏色調色盤，可以用來建立不同的視覺效果。以下是一個簡單的例子，展示瞭如何使用Seaborn的顏色調色盤：

import seaborn as sns
import matplotlib.pyplot as plt

# 載入flights資料集
flights = sns.load_dataset("flights")

# 建立一個條形圖
sns.countplot(x="month", data=flights, palette="Set3")

# 顯示圖形
plt.show()

6. 重點記住

  • Polars是一個高效能的資料處理函式庫。
  • Seaborn是一個根據Matplotlib的視覺化函式庫。
  • Seaborn提供了多種顏色調色盤，可以用來建立不同的視覺效果。

7. 問題

  • 如何使用Polars進行資料操作？
  • 如何使用Seaborn建立不同的視覺效果？
  • Seaborn的顏色調色盤如何使用？

內容解密：

上述程式碼展示瞭如何使用Polars進行資料操作和如何使用Seaborn建立不同的視覺效果。Polars提供了高效能的資料處理能力，而Seaborn則提供了高階別的介面來建立資訊豐富且吸引人的統計圖形。

圖表翻譯：

以下是使用Seaborn建立的直方圖和條形圖的Mermaid圖表：

  graph LR
    A[載入tips資料集] --> B[建立直方圖]
    B --> C[顯示圖形]
    C --> D[載入flights資料集]
    D --> E[建立條形圖]
    E --> F[顯示圖形]

這個圖表展示瞭如何使用Seaborn建立不同的視覺效果，包括直方圖和條形圖。

從技術架構視角來看，Pandas 的 Series 和 DataFrame 提供了強大的資料結構基礎，適合處理各種資料分析任務。然而，在大資料處理場景下，Polars 的列式儲存和平行處理能力展現出顯著的效能優勢，尤其在記憶體使用效率和運算速度方面。Polars 的表示式系統簡潔而強大，能進一步提升資料操作的效率。Seaborn 則有效地補足了 Polars 在資料視覺化方面的不足，其豐富的圖表型別和便捷的 API，結合 Polars 的高效資料處理能力，能大幅提升資料分析和視覺化的效率。對於追求極致效能的資料科學家，Polars 結合 Seaborn 值得深入研究和應用。技術團隊應關注 Polars 生態的發展，評估其與現有 Pandas 程式碼的整合成本，並探索如何將 Polars 的效能優勢最大化。隨著 Polars 社群的壯大，我們預見其將在資料科學領域扮演越來越重要的角色。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。