Polars高效能資料儲存與處理技術

– 11 分鐘閱讀

Polars 提供了多元的資料型別，包含結構化資料、列表和時間群組，讓開發者能靈活處理不同型別的資料。時間群組支援日期、時間、日期時間和持續時間等型別，方便進行時間序列分析。此外，Polars 也支援布林值、二進位資料、UTF-8 字串、類別資料和物件等，提供更全面的資料處理能力。文章中提供的 Python 程式碼示範瞭如何使用 Polars 建立不同數值型別的 DataFrame，例如 8 位元、16 位元、32 位元和 64 位元的整數，以及 8 位元無符號整數，並說明如何選擇合適的整數型別以避免溢位或截斷。同時也涵蓋瞭如何建立和操作浮點數 DataFrame，以及如何使用 NumPy 建立不同型別的資料，並展示其輸出結果。

多型資料儲存與處理

在資料科學中，能夠有效儲存和處理不同型別的資料是一項重要的能力。Polars是一種強大的資料處理函式庫，它提供了多種方法來儲存和操作不同型別的資料。

結構化資料

結構化資料允許您儲存多個不同型別的值於單一欄位中。這對於需要儲存多種型別的資料的應用程式尤其有用。例如，您可以使用結構化資料來儲存使用者的個人資料，包括姓名、地址、電話號碼等。

列表

列表是一種有序的元素集合，每個元素可以是任何資料型別。這使得您可以儲存和操作多個值，而不需要建立多個欄位。

時間群組

時間群組是指根據時間順序組織資料的過程。這使得您可以分析時間趨勢和週期模式，以便更深入地瞭解您的資料。時間群組包括日期、時間、日期時間和持續時間等型別。

  • 日期：以UNIX紀元以來的天數為單位，儲存於32位元帶正負號的整數中。
  • 時間：以納秒為單位，儲存自午夜以來的時間。
  • 日期時間：以微秒為單位，儲存自UNIX紀元以來的日期和時間，儲存於64位元帶正負號的整數中。
  • 持續時間：建立於日期或日期時間相減時，內部以微秒為單位表示時間差。

其他群組

其他群組包括布林、二進位制、UTF-8、類別和物件等資料型別。這些型別提供了一個全面的框架，用於處理多種不同的資料格式，並促進了各種資料型別之間的高效分析。

  • 布林：有效地封包布林型別。
  • 二進位制：以位元組形式儲存資料。
  • UTF-8：以字串形式儲存資料。
  • 類別：對一組字串進行類別編碼。
  • 物件：可以是任何值和有限支援的資料型別。

以下是使用Polars建立數值群組的範例：

import polars as pl

# 建立Polars DataFrame，包含8位元帶正負號的整數
df_int8 = pl.DataFrame({
    "int8_column": [11, 12, 13]
})

# 建立Polars DataFrame，包含16位元帶正負號的整數
df_int16 = pl.DataFrame({
    "int16_column": [21, 22, 23]
})

這些範例展示瞭如何使用Polars建立DataFrame，並指定不同的數值型別。這對於需要儲存和操作不同型別的數值的應用程式尤其有用。

使用Polars DataFrame進行整數資料儲存與操作

在進行資料分析時，選擇合適的資料型別對於效率和準確性至關重要。Polars是一個快速、平行的DataFrame函式庫，提供了多種整數型別以適應不同需求。本文將介紹如何使用Polars DataFrame來儲存和操作不同型別的整數資料。

建立帶有不同整數型別的Polars DataFrame

首先，我們需要匯入Polars函式庫並建立DataFrames以包含不同的整數型別。以下是示例程式碼：

import polars as pl

# 建立帶有16位元有符號整數的Polars DataFrame
mydf_int16 = pl.DataFrame({
    'int16_column': [1100, 1200, 1300],
})

# 建立帶有32位元有符號整數的Polars DataFrame
mydf_int32 = pl.DataFrame({
    'int32_column': [11000, 12000, 13000],
})

# 建立帶有64位元有符號整數的Polars DataFrame
mydf_int64 = pl.DataFrame({
    'int64_column': [110000, 120000, 130000],
})

# 建立帶有8位元無符號整數的Polars DataFrame
mydf_uint8 = pl.DataFrame({
    'uint8_column': [11, 12, 13],  # 注意：這裡修正了欄位名稱以反映無符號整數
})

注意事項

  • 在建立DataFrame時，確保選擇的整數型別能夠容納您要儲存的值，以避免溢位或截斷。
  • Polars支援多種整數型別，包括有符號整數（如int16、int32、int64）和無符號整數（如uint8）。
  • 在上述範例中，我們將mydf_uint8的欄位名稱從int8_column修正為uint8_column，以正確反映它儲存的是無符號8位元整數。

圖表翻譯：Polars DataFrame整數型別選擇

  flowchart TD
    A[開始] --> B[選擇整數型別]
    B --> C{值範圍}
    C -->|小於256| D[uint8]
    C -->|小於65536| E[int16]
    C -->|小於2^31| F[int32]
    C -->|大於2^31| G[int64]
    D --> H[儲存至DataFrame]
    E --> H
    F --> H
    G --> H
    H --> I[結束]

圖表翻譯：

此流程圖指導您根據預期儲存的整數值範圍選擇適合的整數型別。從開始到結束，流程如下：

  1. 開始：進入流程。
  2. 選擇整數型別：根據您要儲存的值範圍決定適合的整數型別。
  3. 值範圍判斷：
    • 如果值小於256，選擇uint8。
    • 如果值小於65536，選擇int16。
    • 如果值小於2^31，選擇int32。
    • 如果值大於2^31，選擇int64。
  4. 儲存至DataFrame：使用選定的整數型別儲存值至Polars DataFrame。
  5. 結束：流程完成。

透過這個流程圖，您可以快速確定哪種整數型別最適合您的資料，從而有效地使用Polars DataFrame進行資料儲存和分析。

資料型別與Polars DataFrame

在進行資料分析時，瞭解不同資料型別的重要性不言而喻。Polars是一個快速、平行的DataFrame函式庫，支援多種資料型別，包括整數和浮點數。在本文中，我們將探討如何建立具有不同資料型別的Polars DataFrame。

建立整數DataFrame

首先，我們來看一下如何建立整數DataFrame。Polars支援多種整數型別，包括16位、32位和64位無符號整數。

import polars as pl

# 建立16位無符號整數DataFrame
mydf_uint16 = pl.DataFrame({
    'int16_column': [1100, 1200, 1300],
})

# 建立32位無符號整數DataFrame
mydf_uint32 = pl.DataFrame({
    'int32_column': [11000, 12000, 13000],
})

# 建立64位無符號整數DataFrame
mydf_uint64 = pl.DataFrame({
    'int64_column': [110000, 120000, 130000],
})

建立浮點數DataFrame

接下來，我們來看一下如何建立浮點數DataFrame。Polars支援32位和64位浮點數。

# 建立32位浮點數DataFrame
mydf_f32 = pl.DataFrame({
    'float32_column': [11.23, 14.56, 17.89],
})

# 建立64位浮點數DataFrame
mydf_f64 = pl.DataFrame({
    'float64_column': [11.23, 14.56, 17.89],
})

內容解密：

  • 我們使用polars函式庫建立了多個DataFrame，每個DataFrame對應不同的資料型別。
  • mydf_uint16、mydf_uint32和mydf_uint64分別代表16位、32位和64位無符號整數DataFrame。
  • mydf_f32和mydf_f64分別代表32位和64位浮點數DataFrame。
  • 每個DataFrame都包含一個名為'int16_column'、'int32_column'、'int64_column'、'float32_column'或'float64_column'的列，分別對應不同的資料型別。

圖表翻譯：

  flowchart TD
    A[建立Polars DataFrame] --> B[選擇資料型別]
    B --> C[16位無符號整數]
    B --> D[32位無符號整數]
    B --> E[64位無符號整數]
    B --> F[32位浮點數]
    B --> G[64位浮點數]
    C --> H[mydf_uint16]
    D --> I[mydf_uint32]
    E --> J[mydf_uint64]
    F --> K[mydf_f32]
    G --> L[mydf_f64]

圖表翻譯：

  • 圖表展示了建立Polars DataFrame的流程。
  • 首先，選擇要建立的DataFrame型別。
  • 然後，根據選擇的型別，建立對應的DataFrame，例如mydf_uint16、mydf_uint32、mydf_uint64、mydf_f32或mydf_f64。

顯示資料框架

首先，我們需要顯示不同位元的整數資料框架。這些資料框架分別對應8位元、16位元、32位元和64位元的整數，以及8位元的無符號整數。

8位元整數

print("8位元整數:")
print(mydf_int8)
print('-'*50)

16位元整數

print("\n16位元整數:")
print(mydf_int16)
print('-'*50)

32位元整數

print("\n32位元整數:")
print(mydf_int32)
print('-'*50)

64位元整數

print("\n64位元整數:")
print(mydf_int64)
print('-'*50)

8位元無符號整數

print("8位元無符號整數:")
print(mydf_uint8)
print('-'*50)

內容解密：

在上述程式碼中，我們使用print()函式來顯示不同位元的整數資料框架。每個資料框架都有一個對應的變數，例如mydf_int8、mydf_int16、mydf_int32和mydf_int64，分別代表8位元、16位元、32位元和64位元的整數。另外，我們還有mydf_uint8，代表8位元的無符號整數。

每次顯示資料框架後，我們都會印出一行50個連字號（-）作為分隔線，以便於區分不同的資料框架。

圖表翻譯：

  flowchart TD
    A[開始] --> B[顯示8位元整數]
    B --> C[顯示16位元整數]
    C --> D[顯示32位元整數]
    D --> E[顯示64位元整數]
    E --> F[顯示8位元無符號整數]
    F --> G[結束]

圖表翻譯：

此圖表描述了顯示不同位元整數資料框架的流程。從開始到結束，依序顯示8位元、16位元、32位元和64位元的整數，最後顯示8位元無符號整數。每個步驟都對應到上述程式碼中的print()函式呼叫。

瞭解不同資料型別的運用

在進行資料分析和科學計算時，選擇合適的資料型別對於記憶體使用和計算效率有著重要影響。下面，我們將探討如何使用Python建立不同型別的資料，並展示其輸出結果。

建立不同型別的資料

首先，我們需要建立不同型別的資料，包括16位、32位和64位的無符號整數，以及32位和64位的浮點數。這些資料型別在科學計算和資料分析中非常常見。

import numpy as np

# 建立16位無符號整數資料
mydf_int16 = np.array([1, 2, 3], dtype=np.uint16)

# 建立32位無符號整數資料
mydf_int32 = np.array([1, 2, 3], dtype=np.uint32)

# 建立64位無符號整數資料
mydf_int64 = np.array([1, 2, 3], dtype=np.uint64)

# 建立32位浮點數資料
mydf_f32 = np.array([1.0, 2.0, 3.0], dtype=np.float32)

# 建立64位浮點數資料
mydf_f64 = np.array([1.0, 2.0, 3.0], dtype=np.float64)

顯示不同型別的資料

接下來，我們將顯示這些不同型別的資料，以便更好地理解其差異。

print('-'*50)
print("\n16位無符號整數:")
print(mydf_int16)
print('-'*50)
print("\n32位無符號整數:")
print(mydf_int32)
print('-'*50)
print("\n64位無符號整數:")
print(mydf_int64)
print('-'*50)
print("\n32位浮點數:")
print(mydf_f32)
print('-'*50)
print("\n64位浮點數:")
print(mydf_f64)

圖表說明

為了更好地理解這些資料型別的差異，以下圖表提供了視覺化的展示：

  flowchart TD
    A[16位無符號整數] --> B[32位無符號整數]
    B --> C[64位無符號整數]
    C --> D[32位浮點數]
    D --> E[64位浮點數]

圖表翻譯：

上述流程圖展示了從16位無符號整數到64位浮點數的逐步過程。每一步驟代表著一個特定的資料型別，從最小的16位無符號整數開始，逐步增加到最大的是64位浮點數。這個過程幫助我們瞭解不同資料型別之間的關係和差異。

Polars 中的資料結構

Polars 是一個強大的資料處理函式庫，提供了多種資料結構和工具，讓使用者可以輕鬆地進行資料操作和分析。在 Polars 中，Series 和 DataFrame 是兩種基本的資料結構。

Series

Series是一種一維的資料結構，每個元素都具有相同的資料型別。它可以被視為一個標籤陣列。下面是使用 Polars 建立 Series 的範例：

import polars as pl

# 建立一個 Series 物件
my_series = pl.Series("numbers", [11, 12, 13, 14, 15])

# 存取 Series 中的值
print(my_series)

# 對 Series 進行操作
print(my_series + 10)

內容解密：

在上面的範例中，我們建立了一個名為 my_series 的 Series 物件，它包含了一個標籤 “numbers” 和一個整數列表 [11, 12, 13, 14, 15]。然後，我們使用 print() 函式來顯示 Series 中的值。最後，我們對 Series 進行了一個簡單的操作，將每個元素加上 10。

DataFrame

DataFrame 是一個二維的資料結構，它由多個 Series 組成，每個 Series 可以具有不同的資料型別。它可以被視為一個表格。下面是使用 Polars 建立 DataFrame 的範例：

import polars as pl

# 建立一個 DataFrame 物件
my_df = pl.DataFrame({
    "numbers": [11, 12, 13, 14, 15],
    "floats": [11.23, 14.56, 17.89, 20.12, 22.34]
})

# 存取 DataFrame 中的值
print(my_df)

# 對 DataFrame 進行操作
print(my_df["numbers"] + my_df["floats"])

內容解密：

在上面的範例中，我們建立了一個名為 my_df 的 DataFrame 物件，它包含兩個 Series：“numbers” 和 “floats”。然後，我們使用 print() 函式來顯示 DataFrame 中的值。最後，我們對 DataFrame 進行了一個簡單的操作，將 “numbers” 和 “floats” 兩個 Series 相加。

圖表翻譯：

下面是使用 Mermaid 圖表來展示 Polars 中的 Series 和 DataFrame 結構：

  flowchart TD
    A[Polars] --> B[Series]
    A --> C[DataFrame]
    B --> D[標籤陣列]
    C --> E[表格]
    E --> F[多個 Series]

圖表翻譯：

在上面的圖表中，我們展示了 Polars 中的 Series 和 DataFrame 結構。Polars 是一個資料處理函式庫，它提供了兩種基本的資料結構：Series 和 DataFrame。Series是一種一維的資料結構，每個元素都具有相同的資料型別。DataFrame 是一個二維的資料結構，它由多個 Series 組成，每個 Series 可以具有不同的資料型別。

從技術架構視角來看，Polars 提供了多元且高效的資料結構，涵蓋結構化資料、列表、時間群組以及其他多種資料型別，展現其在資料處理領域的靈活性。透過Series和DataFrame的設計，Polars 能夠有效管理和操作不同型別的資料，滿足資料科學領域的各種需求。然而，Polars 目前在物件型別的支援上仍有侷限性，需要更多開發和社群貢獻來拓展其功能。對於需要處理複雜物件的應用場景，Polars 可能需要與其他工具結合使用。展望未來，Polars 有望在資料處理效能和功能性方面持續提升，並在資料科學領域扮演更重要的角色。隨著生態系統的發展，預期 Polars 將整合更多進階的資料型別和分析工具，進一步降低使用門檻並提升使用者經驗。玄貓認為，Polars 值得資料科學家和工程師深入學習和應用，特別是在追求高效能資料處理的場景下。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。