Pandas資料框架進階篩選技巧

Pandas是Python資料科學領域中不可或缺的工具，尤其在處理結構化資料時，其提供的資料框架（DataFrame）功能更是強大。資料框架的篩選和操作效率，直接影響資料分析的效率。本篇文章將深入探討如何設定自定義索引、運用loc[]和iloc[]精確存取資料列，以及如何有效地處理重複資料和缺失值。這些技巧能讓你在資料分析過程中更加得心應手，提升資料處理的效率。

使用 Pandas 處理員薪水料

在本文中，我們將探討如何使用 Pandas 這個強大的 Python 函式庫來處理員薪水料。Pandas 提供了高效的資料結構和演算法，讓我們可以輕鬆地操控和分析結構化資料。

匯入必要的函式庫

首先，我們需要匯入必要的函式庫，包括 Pandas：

import pandas as pd

建立員薪水料

接下來，我們建立一個員薪水料的 DataFrame：

data = {
    "Employee Name": ["Rahul", "Divya", "Saurabh", "Ankit"],
    "Salary": [100000.0, 140000.0, 150000.0, 110000.0],
    "City": ["Bhopal", "Durg", "Raipur", "Durg"]
}
df = pd.DataFrame(data)
print(df)

輸出：

  Employee Name  Salary      City
0         Rahul  100000.0    Bhopal
1         Divya  140000.0      Durg
2      Saurabh  150000.0    Raipur
3         Ankit  110000.0      Durg

篩選員薪水料

現在，我們可以使用 Pandas 的篩選功能來選擇特定員工的資料。例如，我們可以篩選出薪水大於 120000.0 的員工：

filtered_df = df[df["Salary"] > 120000.0]
print(filtered_df)

輸出：

  Employee Name  Salary      City
1         Divya  140000.0      Durg
2      Saurabh  150000.0    Raipur

分組員薪水料

我們也可以使用 Pandas 的分組功能來分組員薪水料。例如，我們可以根據城市分組員工：

grouped_df = df.groupby("City")
for city, group in grouped_df:
    print(f"City: {city}")
    print(group)
    print()

輸出：

City: Bhopal
  Employee Name  Salary    City
0         Rahul  100000.0  Bhopal

City: Durg
  Employee Name  Salary City
1         Divya  140000.0  Durg
3         Ankit  110000.0  Durg

City: Raipur
  Employee Name  Salary    City
2      Saurabh  150000.0  Raipur

圖表翻譯：

以上程式碼使用 Pandas 函式庫來處理員薪水料，包括篩選和分組。這些功能可以幫助我們快速地分析和理解資料。

內容解密：

在這個例子中，我們使用 Pandas 的 DataFrame 來儲存員薪水料。然後，我們使用篩選和分組功能來分析資料。篩選功能可以幫助我們選擇特定員工的資料，而分組功能可以幫助我們根據城市分組員工。這些功能可以幫助我們快速地分析和理解資料。

使用isnull和notnull方法檢查缺失值

在資料分析中，檢查缺失值是一個非常重要的步驟。Pandas提供了兩個方法：isnull()和notnull()，用於檢查Series或DataFrame物件中的缺失值。

isnull()方法

isnull()方法傳回一個布林遮罩（Boolean mask），指示哪些元素是缺失或空的。它傳回True表示缺失元素，否則傳回False。

notnull()方法

notnull()方法是isnull()方法的相反，它傳回True表示非缺失元素，否則傳回False。

範例程式碼

import pandas as pd

# 載入範例資料
mydf = pd.read_csv('isnull_notnull_eg.csv')

# 列印原始資料
print(mydf)
print('-'*50)

# 對Series物件應用isnull()方法
print(mydf['Employee Name'].isnull())  # 會傳回布林系列

print('-'*50)

# 篩選具有缺失值的資料列
print(mydf[mydf['Employee Name'].isnull()])

內容解密：

在上述程式碼中，我們首先載入範例資料到mydf變數中。然後，我們使用isnull()方法對Employee Name欄位進行檢查，傳回一個布林系列，指示哪些元素是缺失的。接著，我們使用布林索引（Boolean indexing）篩選具有缺失值的資料列。

圖表翻譯：

  flowchart TD
    A[載入資料] --> B[檢查缺失值]
    B --> C[篩選缺失值]
    C --> D[傳回結果]

在這個流程圖中，我們首先載入資料，然後檢查缺失值，接著篩選具有缺失值的資料列，最後傳回結果。

技術深度：

在實際應用中，檢查缺失值是一個非常重要的步驟，因為它可以幫助我們發現資料中的問題，並對資料進行相應的處理。在Pandas中，isnull()和notnull()方法提供了一種方便的方式來檢查缺失值，使得資料分析更加高效。

使用 Pandas 過濾 DataFrame 中的空值

在資料分析中，經常會遇到含有空值的資料。Pandas 提供了多種方法來處理這些空值，包括過濾出含有空值的列或行。

過濾空值

首先，我們可以使用 isnull() 方法來檢查 DataFrame 中哪些值是空的。這個方法會傳回一個布林值的 DataFrame，指示每個值是否為空。

import pandas as pd
import numpy as np

# 建立一個範例 DataFrame
data = {
    'Employee Name': ['Rahul', 'Vikas', 'Rohit', 'Saurabh'],
    'Salary': [100000.0, 200000.0, np.nan, 400000.0],
    'City': ['Bhopal', 'Lara', 'Durg', np.nan]
}
mydf = pd.DataFrame(data)

print(mydf.isnull())

這會輸出一個布林值的 DataFrame，顯示哪些值是空的。

過濾非空值

如果我們想要選擇非空值的列或行，可以使用 notnull() 方法。這個方法會傳回一個布林值的 DataFrame，指示每個值是否非空。

print(mydf['Employee Name'].notnull())

這會輸出一個布林值的 Series，顯示 ‘Employee Name’ 列中哪些值是非空的。

過濾含有非空值的列

如果我們想要選擇整列非空值，可以直接在 DataFrame 上使用布林索引。

print(mydf[mydf['Employee Name'].notnull()])

這會輸出一個新的 DataFrame，只包含 ‘Employee Name’ 列中非空值的列。

應用於 DataFrame 物件

我們也可以直接在 DataFrame 上使用 notnull() 方法來過濾整個 DataFrame。

print(mydf.notnull())

這會輸出一個布林值的 DataFrame，顯示每個值是否非空。

範例輸出

根據提供的範例輸出，我們可以看到 ‘Employee Name’ 列中所有值都是非空的，而 ‘Salary’ 和 ‘City’ 列中有一些空值。

print('-'*50)
print(mydf['Employee Name'].notnull()) 
print('-'*50)
print(mydf[mydf['Employee Name'].notnull()])

這會輸出 ‘Employee Name’ 列的布林值 Series 和整個 DataFrame 中 ‘Employee Name’ 列非空值的列。

資料分析與處理

在進行資料分析時，常會遇到缺失值（NaN）或需要根據特定條件進行資料過濾。以下是一個示例，展示如何處理這些情況。

資料描述

假設我們有一份員薪水料，包含員工姓名、薪水和城市。然而，在這份資料中，有些值是缺失的（NaN）。

Employee Name	Salary	City
NaN	310000	Indore

布林值陣列

當我們對這份資料進行某些條件判斷時，可能會得到一個布林值陣列。例如，判斷每個員工是否符合某些條件。

0    False
1    False
2    False
3    False
4    True
Name: Employee Name, dtype: bool

資料過濾

利用這個布林值陣列，我們可以過濾原始資料，選擇符合條件的員工。

import pandas as pd
import numpy as np

# 建立一個簡單的DataFrame
data = {
    'Employee Name': [np.nan],
    'Salary': [310000.0],
    'City': ['Indore']
}
df = pd.DataFrame(data)

# 假設的布林值陣列
bool_array = pd.Series([True, True, True, True])

# 過濾資料
filtered_df = df[bool_array]

print(filtered_df)

結果

過濾後的結果可能如下：

   Employee Name  Salary    City
0           NaN  310000.0  Indore

資料分析與處理

在進行資料分析時，常會遇到缺失值（NaN）的問題。下面是一個示例，展示如何處理這種情況。

資料描述

我們有一份員薪水料，包含員工姓名、薪水和城市。然而，其中有些值是缺失的。

Employee Name	Salary	City
Rahul	100000.0	Bhopal
Vikas	200000.0	Lara
Rohit	NaN	Durg
Saurabh	400000.0	NaN

缺失值檢測

首先，我們需要檢測出哪些值是缺失的。使用布林值可以幫助我們快速找到這些值。

Employee Name	Salary	City
False	False	False
False	False	False
False	True	False
False	False	True

從上面的結果可以看出，Rohit的薪水和Saurabh的城市是缺失的。

處理缺失值

處理缺失值有多種方法，包括：

刪除: 直接刪除含有缺失值的行。
填充: 用特定的值填充缺失值，例如用平均值或中位數填充。
插值: 根據其他值進行插值，以估計缺失值。

刪除缺失值

import pandas as pd
import numpy as np

# 建立資料框
data = {
    'Employee Name': ['Rahul', 'Vikas', 'Rohit', 'Saurabh'],
    'Salary': [100000.0, 200000.0, np.nan, 400000.0],
    'City': ['Bhopal', 'Lara', 'Durg', np.nan]
}
df = pd.DataFrame(data)

# 刪除含有缺失值的行
df_clean = df.dropna()

print(df_clean)

填充缺失值

# 填充缺失值
df_filled = df.fillna({
    'Salary': df['Salary'].mean(),  # 用平均薪水填充
    'City': 'Unknown'  # 用'Unknown'填充城市
})

print(df_filled)

處理資料重複的方法

在資料分析中，重複的資料可能會導致結果不準確或難以解釋。因此，檢查和處理重複資料是非常重要的步驟。以下是如何使用Python的pandas函式庫來檢查和處理重複資料的方法。

使用`duplicated()`方法檢查重複資料

pandas提供了duplicated()方法來檢查資料表中是否有重複的行。這個方法會傳回一個布林值的Series，True表示該行是重複的，False表示該行不是重複的。

import pandas as pd

# 載入資料
mydf = pd.read_csv('duplicated_eg.csv')

# 檢查重複資料
print(mydf['Employee Name'].duplicated())

處理重複資料

duplicated()方法可以接受一個keep引數，該引數可以設定為’first’、’last’或False。‘first’表示只保留第一次出現的資料，’last’表示只保留最後一次出現的資料，False表示全部刪除重複的資料。

# 只保留第一次出現的資料
print(mydf['Employee Name'].duplicated(keep='first'))

# 只保留最後一次出現的資料
print(mydf['Employee Name'].duplicated(keep='last'))

# 刪除全部重複的資料
print(mydf['Employee Name'].duplicated(keep=False))

範例程式碼

以下是完整的範例程式碼：

import pandas as pd

# 載入資料
mydf = pd.read_csv('duplicated_eg.csv')

# 檢查重複資料
print(mydf)
print('-'*50)
print(mydf['Employee Name'].duplicated()) # default value of keep = First
print('-'*50)

# 只保留第一次出現的資料
print(mydf['Employee Name'].duplicated(keep='first'))

# 只保留最後一次出現的資料
print(mydf['Employee Name'].duplicated(keep='last'))

# 刪除全部重複的資料
print(mydf['Employee Name'].duplicated(keep=False))

內容解密：

在上面的程式碼中，我們使用duplicated()方法來檢查資料表中是否有重複的行。keep引數可以設定為’first’、’last’或False，以控制如何處理重複的資料。當keep設為’first’時，只保留第一次出現的資料；當keep設為’last’時，只保留最後一次出現的資料；當keep設為False時，刪除全部重複的資料。

圖表翻譯：

以下是使用Mermaid語法繪製的流程圖，描述瞭如何使用duplicated()方法來檢查和處理重複資料：

  flowchart TD
    A[載入資料] --> B[檢查重複資料]
    B --> C[設定keep引數]
    C --> D[只保留第一次出現的資料]
    C --> E[只保留最後一次出現的資料]
    C --> F[刪除全部重複的資料]
    D --> G[輸出結果]
    E --> G
    F --> G

圖表翻譯：

在上面的流程圖中，我們描述瞭如何使用duplicated()方法來檢查和處理重複資料。首先，載入資料；然後，檢查重複資料；接下來，設定keep引數，以控制如何處理重複的資料。根據keep引數的設定，選擇只保留第一次出現的資料、只保留最後一次出現的資料，或刪除全部重複的資料；最後，輸出結果。

資料去重與篩選

在資料分析中，經常會遇到重複的資料。例如，在員薪水料表中，可能會有多個員工具有相同的姓名。這時，如何去除重複的資料或者篩選出唯一的資料就變得非常重要。

重複資料檢查

首先，我們可以使用 duplicated() 函式來檢查哪些資料是重複的。這個函式會傳回一個布林值序列，指出哪些資料是重複的。

import pandas as pd

# 建立一個範例資料表
data = {
    'Employee Name': ['Vikas', 'Saurabh', 'Vikas', 'Mintoo'],
    'Salary': [200000.0, 400000.0, 210000.0, 110000.0],
    'City': ['Lara', None, None, 'Jhansi']
}
mydf = pd.DataFrame(data)

# 檢查重複資料
print(mydf['Employee Name'].duplicated(keep='last'))
print('-'*50)

# 檢查所有重複資料
print(mydf['Employee Name'].duplicated(keep=False))
print('-'*50)

篩選唯一資料

接下來，我們可以使用 ~ 運運算元來篩選出唯一的資料。~ 運運算元會對布林值序列進行邏輯否定。

# 篩選出沒有重複的員工姓名
mycond1 = ~mydf['Employee Name'].duplicated()
print(mydf[mycond1])
print('-'*50)

# 篩選出唯一的員工姓名
mycond2 = ~mydf['Employee Name'].duplicated(keep=False)
print(mydf[mycond2])

結果

最終，輸出結果將顯示篩選後的資料表，僅包含唯一的員工姓名。

  Employee Name   Salary      City
0         Vikas  200000.0      Lara
1      Saurabh  400000.0       None
3        Mintoo  110000.0    Jhansi
--------------------------------------------------
  Employee Name   Salary      City
0         Vikas  200000.0      Lara
1      Saurabh  400000.0       None
3        Mintoo  110000.0    Jhansi

資料過濾與條件判斷

在資料分析中，過濾和條件判斷是非常重要的步驟。下面我們將探討如何使用Python的Pandas函式庫來進行這些操作。

資料準備

首先，我們需要有一個DataFrame來進行操作。假設我們有一個包含員薪水料的DataFrame，包括員工名稱和其他相關資訊。

import pandas as pd

# 範例資料
data = {
    'Employee Name': ['John', 'Anna', 'Peter', 'Linda', 'Tom'],
    'Department': ['Sales', 'Marketing', 'Sales', 'HR', 'IT'],
    'Age': [28, 24, 35, 32, 40]
}

df = pd.DataFrame(data)
print(df)

條件判斷

現在，我們想要根據某些條件來過濾這些資料。例如，我們可能想要找出所有年齡大於30歲的員工。

# 年齡大於30歲的員工
older_than_30 = df['Age'] > 30
print(older_than_30)

這會輸出一個布林序列（Boolean Series），指示每個員工是否滿足條件。

資料過濾

接下來，我們可以使用這個布林序列來過濾原始的DataFrame，得到只包含年齡大於30歲員工的資料。

# 過濾年齡大於30歲的員工
filtered_df = df[older_than_30]
print(filtered_df)

這樣，我們就得到了符合條件的員工列表。

內容解密：

df['Age'] > 30 這行程式碼建立了一個布林序列，根據每個員工的年齡決定是否滿足條件。
df[older_than_30] 這行程式碼使用布林索引（Boolean Indexing）來過濾DataFrame，傳回一個新DataFrame，只包含滿足條件的行。

圖表翻譯：

  graph LR
    A[原始資料] -->|過濾條件|> B[布林序列]
    B -->|索引|> C[過濾後資料]
    style A fill:#f9f,stroke:#333,stroke-width:2px
    style B fill:#f9f,stroke:#333,stroke-width:2px
    style C fill:#f9f,stroke:#333,stroke-width:2px

這個流程圖展示了從原始資料到過濾後資料的整個過程。首先，根據條件建立一個布林序列，然後使用這個序列來過濾原始資料，最後得到過濾後的結果。

使用 `drop_duplicates` 方法從 DataFrame 中移除重複行

drop_duplicates 是 pandas 中的一個方法，用於從 DataFrame 物件中移除重複的行。根據玄貓的說明，這個方法只會在所有列的值都重複的情況下才會移除重複的行。

`drop_duplicates` 方法的語法

以下是 drop_duplicates 方法的基本語法：

df.drop_duplicates(subset=None, keep='first', inplace=False)

其中：

subset：指定要考慮哪些列來判斷重複行。如果為 None，則考慮所有列。
keep：指定如何處理重複行。可選值為 'first'、'last' 或 False。如果為 'first'，則保留第一個出現的重複行；如果為 'last'，則保留最後一個出現的重複行；如果為 False，則移除所有重複行。
inplace：是否在原始 DataFrame 上進行修改。如果為 True，則修改原始 DataFrame；如果為 False，則傳回一個新的 DataFrame。

範例

假設我們有以下 DataFrame：

Employee Name  Salary  City
0        Vikas  200000.0  Lara
1     Saurabh  400000.0    NaN
2       Mintoo  110000.0  Jhansi
3     Saurabh  400000.0    NaN
4       Mintoo  110000.0  Jhansi

如果我們想要移除重複的行，可以使用以下程式碼：

import pandas as pd

# 建立 DataFrame
data = {'Employee Name': ['Vikas', 'Saurabh', 'Mintoo', 'Saurabh', 'Mintoo'],
        'Salary': [200000.0, 400000.0, 110000.0, 400000.0, 110000.0],
        'City': ['Lara', None, 'Jhansi', None, 'Jhansi']}
df = pd.DataFrame(data)

# 移除重複的行
df = df.drop_duplicates()

print(df)

輸出結果：

Employee Name  Salary  City
0        Vikas  200000.0  Lara
1     Saurabh  400000.0    NaN
2       Mintoo  110000.0  Jhansi

如您所見，重複的行已經被移除。

使用 Pandas 刪除 DataFrame 中的重複資料

在進行資料分析時，經常會遇到重複的資料。Pandas 的 drop_duplicates 方法可以幫助我們刪除 DataFrame 中的重複資料。

基本語法

drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)

subset: 指定要根據哪些欄位來刪除重複資料。可以是單一欄位或多個欄位的列表。
keep: 指定要保留哪些重複資料。可以是 'first'、'last' 或 False。如果是 'first'，則保留第一個出現的資料；如果是 'last'，則保留最後一個出現的資料；如果是 False，則刪除所有重複資料。
inplace: 是否直接修改原來的 DataFrame。若為 True，則直接修改原來的 DataFrame；若為 False，則傳回一個新的 DataFrame。
ignore_index: 是否重置索引。若為 True，則重置索引；若為 False，則不重置索引。

範例

import pandas as pd

# 讀取 CSV 檔案
df = pd.read_csv('duplicated_eg.csv')

# 刪除所有欄位的重複資料
df.drop_duplicates(inplace=True)

print(df)

# 刪除 Employee Name 欄位的重複資料
df.drop_duplicates(subset=['Employee Name'], inplace=True)

print(df)

Output:

Employee Name  Salary  City
0           Vikas  200000.0  Lara
1         Saurabh  400000.0    NaN
2           Vikas  210000.0    NaN
----------------------------------
Employee Name  Salary  City
0           Vikas  200000.0  Lara
1         Saurabh  400000.0    NaN

在這個範例中，我們先讀取一個 CSV 檔案，然後使用 drop_duplicates 方法刪除所有欄位的重複資料。接著，我們再次使用 drop_duplicates 方法，指定 subset 引數為 ['Employee Name']，刪除 Employee Name 欄位的重複資料。

內容解密：

在這個範例中，我們使用 drop_duplicates 方法來刪除 DataFrame 中的重複資料。這個方法可以根據指定的欄位來刪除重複資料，並且可以保留第一個或最後一個出現的資料。同時，這個方法也可以直接修改原來的 DataFrame 或傳回一個新的 DataFrame。

使用 Pandas 處理資料重複與唯一值

在資料分析中，處理重複資料和識別唯一值是非常重要的步驟。Pandas 提供了多種方法來處理這些任務，包括 drop_duplicates、unique 和 nunique。

移除重複資料

當我們需要移除所有具有重複員工名稱的資料列，包括第一次出現的資料列時，可以使用 drop_duplicates 方法。這個方法可以根據指定的欄位（或欄位列表）來判斷資料的重複性。

import pandas as pd

# 範例資料
data = {
    'Employee Name': ['Vikas', 'Saurabh', 'Mintoo', 'Vikas', 'Saurabh'],
    'Salary': [200000.0, 400000.0, 110000.0, 200000.0, 400000.0],
    'City': ['Lara', None, 'Jhansi', 'Anand', None]
}

df = pd.DataFrame(data)

# 移除所有具有重複員工名稱的資料列，包括第一次出現的資料列
df.drop_duplicates(subset=['Employee Name'], keep=False, inplace=True)

print(df)

識別唯一值

Pandas 提供了 unique 和 nunique 方法來識別和計算唯一值。

unique 方法會傳回一個陣列，包含系列物件中的唯一值。
nunique 方法會傳回系列物件中的唯一值數量。預設情況下，nunique 會忽略 NaN 值，但可以透過設定 dropna=False 來包含 NaN 值。

import pandas as pd

# 範例資料
data = {
    'Employee Name': ['Vikas', 'Saurabh', 'Mintoo', 'Vikas', 'Saurabh', None],
    'Salary': [200000.0, 400000.0, 110000.0, 200000.0, 400000.0, 500000.0],
    'City': ['Lara', None, 'Jhansi', 'Anand', None, 'Delhi']
}

df = pd.DataFrame(data)

# 顯示員工名稱的唯一值
print(df['Employee Name'].unique())

# 顯示員工名稱的唯一值數量（排除 NaN）
print(df['Employee Name'].nunique())

# 顯示員工名稱的唯一值數量（包含 NaN）
print(df['Employee Name'].nunique(dropna=False))

這些方法可以幫助您更好地理解和操作您的資料，確保您的分析結果準確可靠。

進階資料框篩選技術

在前一章中，我們探討了 Pandas 資料框的基礎知識，包括資料框的構建、處理缺失值、基本運算等。現在，我們將進一步深入探討 Pandas 資料框的進階篩選技術，包括設定自定義索引、使用 loc[] 和 iloc[] 存取資料列、篩選資料等。

資料框篩選技術

Pandas 資料框提供了多種篩選技術，包括：

設定自定義索引：我們可以使用 set_index() 方法設定自定義索引。
使用 loc[] 和 iloc[] 存取資料列：我們可以使用 loc[] 和 iloc[] 存取資料列。
篩選資料：我們可以使用 query() 方法篩選資料。

設定自定義索引

設定自定義索引可以幫助我們更容易地存取和操作資料。以下是設定自定義索引的範例：

import pandas as pd

# 建立一個範例資料框
data = {'Name': ['John', 'Mary', 'David'], 
        'Age': [25, 31, 42]}
df = pd.DataFrame(data)

# 設定 'Name' 欄位為索引
df.set_index('Name', inplace=True)

print(df)

使用 loc[] 和 iloc[] 存取資料列

loc[] 和 iloc[] 是兩種不同的存取資料列的方法。loc[] 是根據標籤的存取方法，而 iloc[] 是根據位置的存取方法。以下是使用 loc[] 和 iloc[] 存取資料列的範例：

import pandas as pd

# 建立一個範例資料框
data = {'Name': ['John', 'Mary', 'David'], 
        'Age': [25, 31, 42]}
df = pd.DataFrame(data)

# 使用 loc[] 存取 'John' 的資料列
print(df.loc[df['Name'] == 'John'])

# 使用 iloc[] 存取第一行的資料列
print(df.iloc[0])

篩選資料

篩選資料是指根據某些條件選擇特定的資料列或欄位。以下是篩選資料的範例：

import pandas as pd

# 建立一個範例資料框
data = {'Name': ['John', 'Mary', 'David'], 
        'Age': [25, 31, 42]}
df = pd.DataFrame(data)

# 篩選年齡大於 30 的資料列
print(df[df['Age'] > 30])

內容解密：

在這一章中，我們使用了多種不同的方法來篩選和操作資料。其中，set_index() 方法可以幫助我們設定自定義索引，而 loc[] 和 iloc[] 方法可以幫助我們存取特定的資料列或欄位。篩選資料的方法可以根據不同的條件選擇特定的資料列或欄位。

圖表翻譯：

  graph LR
    A[設定自定義索引] --> B[使用 loc[] 和 iloc[] 存取資料列]
    B --> C[篩選資料]
    C --> D[分析和操作資料]

在這個圖表中，我們展示了設定自定義索引、使用 loc[] 和 iloc[] 存取資料列、篩選資料等步驟之間的關係。這個圖表可以幫助我們更好地理解這些步驟如何協同工作，以達到有效地操作和分析資料的目的。

資料框架索引設定與資料操作

在資料分析中，設定適當的索引對於資料框架（dataframe）的操作和查詢至關重要。玄貓將引導您瞭解如何設定自訂欄位作為索引，以及如何高效地修改和查詢資料框架。

自訂欄位作為索引

設定自訂欄位作為索引可以提高資料操作和查詢的效率。玄貓將介紹兩種設定自訂欄位作為索引的方法：

方法一：使用 `set_index()` 函式

您可以使用 set_index() 函式來設定自訂欄位作為索引。這個函式可以接受多個欄位作為索引，並且可以設定是否刪除原始欄位。

import pandas as pd

# 載入資料框架
mydf = pd.read_csv('unique_eg.csv')

# 設定 "Employee Name" 欄位作為索引
mydf1 = mydf.set_index("Employee Name")

方法二：使用 `read_csv()` 函式的 `index_col` 引數

您也可以在載入資料框架時，使用 read_csv() 函式的 index_col 引數來設定自訂欄位作為索引。

mydf2 = pd.read_csv('unique_eg.csv', index_col="Employee Name")

資料框架操作

除了設定索引，玄貓還將介紹如何高效地修改和查詢資料框架。這包括：

使用 where() 方法進行資料過濾
使用 apply() 函式進行資料轉換
使用 nlargest() 和 nsmallest() 函式查詢最大和最小值
使用 groupby() 函式進行資料分組和聚合

內容解密：

以上程式碼示範瞭如何設定自訂欄位作為索引，以及如何使用不同的方法來載入和操作資料框架。透過這些方法，您可以提高資料操作和查詢的效率，並更好地分析和理解您的資料。

圖表翻譯：

  flowchart TD
    A[載入資料框架] --> B[設定索引]
    B --> C[資料過濾]
    C --> D[資料轉換]
    D --> E[查詢最大和最小值]
    E --> F[資料分組和聚合]

此圖表示了資料框架操作的流程，從載入資料框架開始，到設定索引、資料過濾、資料轉換、查詢最大和最小值，最後到資料分組和聚合。

從技術架構視角來看，Pandas 提供了強大的 DataFrame 資料結構和豐富的函式，有效簡化了資料處理流程。本文涵蓋了資料載入、清洗、篩選、分組、聚合等核心操作，並深入探討了 isnull、notnull、duplicated、drop_duplicates 等關鍵方法的應用，展現了 Pandas 在處理結構化資料方面的靈活性與高效性。然而，Pandas 主要針對單機環境，在大規模資料處理場景下，效能可能受限。考量到資料量的增長趨勢，技術團隊應關注分散式資料處理框架，例如 Spark 或 Dask，以應對未來更龐大的資料處理需求。對於追求效能的應用，建議結合其他 Python 函式庫，例如 NumPy 或 SciPy，進行更底層的數值運算。隨著資料科學領域的持續發展，預見 Pandas 將持續整合更多進階功能，並與其他資料處理工具更緊密地結合，成為資料分析工作流程中不可或缺的組成部分。對於資料分析師而言，深入理解 Pandas 的核心機制，並掌握其高階用法，將是提升資料處理效率的關鍵。

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。

Pandas資料框架進階篩選技巧

使用 Pandas 處理員薪水料

匯入必要的函式庫

建立員薪水料

篩選員薪水料

分組員薪水料

圖表翻譯：

內容解密：

使用isnull和notnull方法檢查缺失值

isnull()方法

notnull()方法

範例程式碼

內容解密：

圖表翻譯：

技術深度：

使用 Pandas 過濾 DataFrame 中的空值

過濾空值

過濾非空值

過濾含有非空值的列

應用於 DataFrame 物件

範例輸出

資料分析與處理

資料描述

布林值陣列

資料過濾

結果

資料分析與處理

資料描述

缺失值檢測

處理缺失值

刪除缺失值

填充缺失值

處理資料重複的方法

使用duplicated()方法檢查重複資料

處理重複資料

範例程式碼

內容解密：

圖表翻譯：

圖表翻譯：

資料去重與篩選

重複資料檢查

篩選唯一資料

結果

資料過濾與條件判斷

資料準備

條件判斷

資料過濾

內容解密：

圖表翻譯：

使用 drop_duplicates 方法從 DataFrame 中移除重複行

drop_duplicates 方法的語法

範例

使用 Pandas 刪除 DataFrame 中的重複資料

基本語法

範例

內容解密：

使用 Pandas 處理資料重複與唯一值

移除重複資料

識別唯一值

進階資料框篩選技術

資料框篩選技術

設定自定義索引

使用 loc[] 和 iloc[] 存取資料列

篩選資料

內容解密：

圖表翻譯：

資料框架索引設定與資料操作

自訂欄位作為索引

方法一：使用 set_index() 函式

方法二：使用 read_csv() 函式的 index_col 引數

資料框架操作

內容解密：

圖表翻譯：

玄貓

使用`duplicated()`方法檢查重複資料

使用 `drop_duplicates` 方法從 DataFrame 中移除重複行

`drop_duplicates` 方法的語法

方法一：使用 `set_index()` 函式

方法二：使用 `read_csv()` 函式的 `index_col` 引數