Pandas資料框架排序與分析技巧

– 13 分鐘閱讀

Pandas 是 Python 中常用的資料分析工具，提供高效的資料結構和操作方法。在資料處理過程中，排序和篩選是不可或缺的步驟。本文將介紹如何使用 Pandas 的 sort_values 函式對資料框架進行排序，包含單欄位排序、多欄位排序、升序降序設定、缺失值處理等技巧。同時也會示範如何使用布林索引篩選特定條件的資料，並結合實際案例說明如何應用這些技巧進行資料分析。

資料探索與分析

在進行資料探索與分析之前，瞭解資料的基本結構和內容是非常重要的。根據提供的資訊，我們可以看到有一個包含 648 條記錄的資料集，分別由三個欄位組成：員工名稱（Employee Name）、薪水（Salary）和城市（City）。

資料結構與內容

  • 員工名稱（Employee Name）：這個欄位的資料型態是物件（object），表示它可能包含字串或其他型別的資料。所有 648 條記錄在這個欄位中都是非空值。
  • 薪水（Salary）：薪水欄位的資料型態是 int64，表示它包含整數資料。同樣，所有 648 條記錄在這個欄位中都是非空值。
  • 城市（City）：城市欄位最初被認為是物件（object）型，但後來被識別為類別（category）型。這意味著這個欄位中的值是有限的、可列舉的，並且被最佳化為節省記憶體空間。

記憶體使用情況

根據提供的資訊，資料集在記憶體中的大小約為 15.3 KB（在初始描述中）和 11.0 KB（在更新描述中）。這個大小的變化可能是由於城市欄位從物件型轉換為類別型所致，這樣可以更有效地儲存重複的字串值。

資料分析步驟

  1. 資料清理：確認資料中是否有遺失值或不一致性，並根據需要進行清理或轉換。
  2. 資料轉換：如有需要，將欄位的資料型態進行轉換，以便於後續分析。例如，已經將城市欄位轉換為類別型。
  3. 統計分析：對薪水欄位進行統計分析，計算平均值、標準差、最小值和最大值，以瞭解薪水的分佈情況。
  4. 分組分析：根據城市進行分組，計算每個城市的平均薪水、員作業員數等指標，以瞭解不同城市之間的差異。
  5. 視覺化：使用適當的圖表（如條形圖、盒圖等）來視覺化分析結果，使得複雜的資料更容易被理解。

透過這些步驟，可以更深入地瞭解資料集，並從中提取出有價值的洞察。

資料框架排序

資料框架（Dataframe）是一種常見的資料結構，排序是資料分析中的一個重要步驟。Pandas提供了sort_values()方法來對資料框架進行排序。

排序方法

sort_values()方法可以根據指定的欄位進行排序，以下是其語法：

sort_values(by, axis=0, ascending=True, inplace=False, kind='quicksort', na_position='last', ignore_index=False, key=None)

其中，by引數指定要排序的欄位，axis引數指定排序的軸（0為列，1為行），ascending引數指定排序的方向（True為升序，False為降序）。

範例

以下範例示範如何使用sort_values()方法對資料框架進行排序：

import pandas as pd

# 載入資料
df = pd.read_csv('sorting_example.csv')

# 列印原始資料
print(df)

# 對Salary欄位進行降序排序
df.sort_values(by='Salary', inplace=True, ascending=False)

# 列印排序後的資料
print('-'*50)
print(df)

# 對City欄位進行反向字母排序
df2 = df.sort_values(by='City', ascending=False)

# 列印排序後的資料
print('-'*50)
print(df2)

在這個範例中，我們先載入了一個名為sorting_example.csv的資料檔，然後對Salary欄位進行降序排序。接著，我們對City欄位進行反向字母排序。

處理缺失值

在排序時，缺失值（NA）可以被放在第一位或最後位。以下範例示範如何將缺失值放在第一位：

df.sort_values(by='Salary', na_position='first')

這樣就可以將缺失值放在第一位。

排序資料並處理缺失值

在資料分析中，排序和處理缺失值是非常重要的步驟。下面，我們將使用Python的pandas函式庫來示範如何排序資料並處理缺失值。

範例資料

首先，我們建立一個範例資料框（DataFrame），包含員工姓名、薪水和城市等欄位。

import pandas as pd
import numpy as np

# 建立範例資料
data = {
    'Employee Name': ['Rahul', 'Saurabh', 'Divya', 'Mintoo', 'Ankit', 'Ashwin', 'Rohit', 'Khali', 'Neeharika'],
    'Salary': [100000.0, 200000.0, 130000.0, 140000.0, 10000.0, 170000.0, np.nan, 109000.0, 400000.0],
    'City': ['Bhopal', 'Hyderabad', 'Durg', 'Raipur', np.nan, 'Lara', 'Manuguru', 'Bilaspur', 'Mahasamund']
}

mydf = pd.DataFrame(data)

排序資料

現在，我們想要根據城市（City）欄位對資料進行排序，並將缺失值放在最前面。可以使用sort_values方法實作。

mydf3 = mydf.sort_values(by='City', ascending=False, na_position='first')

在這裡，by引數指定了排序的欄位，ascending引數指定了排序的方向（False表示降序），而na_position引數指定了缺失值的位置（‘first’表示放在最前面）。

輸出結果

最後，我們可以輸出排序後的資料框。

print(mydf3)

這將輸出排序後的資料框，缺失值將被放在最前面。

內容解密：

在這個範例中，我們使用了sort_values方法來排序資料框。這個方法允許我們指定排序的欄位、方向和缺失值的位置。透過設定na_position引數為’first’，我們可以將缺失值放在最前面。這對於資料分析非常有用，因為它可以幫助我們快速識別出缺失值。

圖表翻譯：

下面是使用Mermaid語法建立的一個簡單流程圖，展示了排序資料的過程。

  flowchart TD
    A[資料框] --> B[排序]
    B --> C[設定排序欄位]
    C --> D[設定排序方向]
    D --> E[設定缺失值位置]
    E --> F[輸出排序後的資料框]

這個流程圖展示了排序資料的步驟，從設定排序欄位、方向和缺失值位置，到輸出排序後的資料框。

使用Pandas進行資料分析

在進行資料分析時，Pandas是一個非常實用的函式庫。以下是如何使用Pandas來分析給定的員薪水料。

匯入Pandas函式庫

import pandas as pd

建立資料表

# 建立資料表
data = {
    "Employee ID": [8, 1, 5, 3, 2, 7, 0, 4, 6],
    "Employee Name": ["Neeharika", "Saurabh", "Ashwin", "Mintoo", "Divya", "Khali", "Rahul", "Ankit", "Rohit"],
    "Salary": [400000.0, 200000.0, 170000.0, 140000.0, 130000.0, 109000.0, 100000.0, 10000.0, float('nan')],
    "City": ["Mahasamund", "Hyderabad", "Lara", "Raipur", "Durg", "Bilaspur", "Bhopal", float('nan'), "Manuguru"]
}

df = pd.DataFrame(data)

顯示資料表

print(df)

篩選特定員薪水料

# 篩選Mintoo的資料
mintoo_data = df[df["Employee Name"] == "Mintoo"]
print(mintoo_data)

# 篩選Rohit的資料
rohit_data = df[df["Employee Name"] == "Rohit"]
print(rohit_data)

# 篩選Neeharika的資料
neeharika_data = df[df["Employee Name"] == "Neeharika"]
print(neeharika_data)

# 篩選Ashwin的資料
ashwin_data = df[df["Employee Name"] == "Ashwin"]
print(ashwin_data)

內容解密：

上述程式碼使用Pandas函式庫來建立一個資料表，然後篩選出特定員工的資料。首先，我們匯入Pandas函式庫，然後建立一個包含員工ID、姓名、薪水和城市的資料表。接下來，我們使用條件篩選來找出特定員工的資料，例如Mintoo、Rohit、Neeharika和Ashwin。

圖表翻譯：

以下是使用Mermaid語法繪製的員工薪水分佈圖表：

  pie
    title 員工薪水分佈
    "Neeharika" : 400000
    "Saurabh" : 200000
    "Ashwin" : 170000
    "Mintoo" : 140000
    "Divya" : 130000
    "Khali" : 109000
    "Rahul" : 100000
    "Ankit" : 10000
    "Rohit" : 0

圖表翻譯：

上述圖表顯示了每位員工的薪水分佈情況。從圖表中可以看出，Neeharika的薪水最高，達到400000，而Rohit的薪水為NaN，表示無效資料。這個圖表可以幫助我們快速瞭解員工之間的薪水差異。

員薪水料整理與分析

在進行員薪水料整理與分析時，我們需要考慮員工的姓名、薪水以及所在地等資訊。下面是根據提供的資料進行整理和分析的結果。

員薪水料表

員工編號員工姓名薪水城市
1Saurabh200000.0Hyderabad
2Divya130000.0Durg
7Khali109000.0Bilaspur
0Rahul100000.0Bhopal
4Ankit10000.0NaN
3Mintoo140000.0Raipur
6RohitNaNManuguru
8Neeharika400000.0Mahasamund
5Ashwin170000.0Lara

資料分析

從上面的資料表中，我們可以觀察到以下幾點：

  1. 薪水範圍：員工的薪水範圍從10000.0到400000.0，顯示出相當大的差距。
  2. 城市分佈：員工分佈在不同的城市，包括Hyderabad、Durg、Bilaspur、Bhopal、Raipur、Manuguru、Mahasamund和Lara。
  3. 缺失值：在薪水和城市欄位中，有些員工的資料為NaN（Not a Number），表示缺失值。

內容解密：

上述的資料表和分析結果，為我們提供了員薪水料的概覽。然而，對於實際的應用和決策，可能需要進一步的資料處理和分析，例如計算平均薪水、最高薪水、最低薪水等統計指標，以及對缺失值進行處理，以確保資料的完整性和準確性。

import pandas as pd
import numpy as np

# 建立資料表
data = {
    '員工編號': [1, 2, 7, 0, 4, 3, 6, 8, 5],
    '員工姓名': ['Saurabh', 'Divya', 'Khali', 'Rahul', 'Ankit', 'Mintoo', 'Rohit', 'Neeharika', 'Ashwin'],
    '薪水': [200000.0, 130000.0, 109000.0, 100000.0, 10000.0, 140000.0, np.nan, 400000.0, 170000.0],
    '城市': ['Hyderabad', 'Durg', 'Bilaspur', 'Bhopal', np.nan, 'Raipur', 'Manuguru', 'Mahasamund', 'Lara']
}

df = pd.DataFrame(data)

# 計算平均薪水
average_salary = df['薪水'].mean()
print(f'平均薪水：{average_salary}')

# 尋找最高薪水
max_salary = df['薪水'].max()
print(f'最高薪水：{max_salary}')

# 尋找最低薪水
min_salary = df['薪水'].min()
print(f'最低薪水：{min_salary}')

圖表翻譯：

以下是使用Mermaid語法繪製的員工薪水分佈圖表：

  graph LR
    A[員工編號] --> B[員工姓名]
    B --> C[薪水]
    C --> D[城市]
    D --> E[平均薪水]
    E --> F[最高薪水]
    F --> G[最低薪水]

圖表翻譯：

此圖示展示了員薪水料之間的關係，從員工編號到員工姓名，再到薪水和城市，最後計算出平均薪水、最高薪水和最低薪水。這個過程展示瞭如何從原始資料中提取有用的資訊，以便進行進一步的分析和決策。

使用Pandas進行資料排序

在資料分析中，排序是常見的操作。Pandas提供了sort_values方法來對DataFrame進行排序。以下是如何使用它來排序一個包含員薪水料的DataFrame。

範例資料

假設我們有一個名為sorting_example2.csv的檔案，內容如下：

Employee NameSalaryCity
Rahul100000.0Bhopal
Saurabh200000.0Hyderabad
Divya130000.0Durg
Saurabh140000.0Raipur
Ankit10000.0NaN
Saurabh170000.0Lara
RohitNaNManuguru
Saurabh400000.0Mahasamund

排序程式碼

import pandas as pd

# 讀取CSV檔案
mydf = pd.read_csv('sorting_example2.csv')

# 列印原始資料
print(mydf)

# 列印分隔線
print('-'*50)

# 對Employee Name和Salary進行排序
mydf.sort_values(by=['Employee Name', 'Salary'], inplace=True, ascending=False)

# 列印排序後的資料
print(mydf)

排序結果

排序後的結果將根據Employee Name的字母順序（降序）和Salary的數值（降序）進行排列。如果多個員工有相同的Employee Name，則根據Salary進行排序。

內容解密：

在上述程式碼中，我們使用sort_values方法來對DataFrame進行排序。by引數指定了要排序的欄位，在這裡我們同時對Employee Name和Salary進行排序。inplace=True表示直接修改原始DataFrame，而不是傳回一個新的DataFrame。ascending=False表示進行降序排序。

圖表翻譯：

以下是使用Mermaid語法繪製的流程圖，展示了排序的過程：

  flowchart TD
    A[讀取CSV檔案] --> B[列印原始資料]
    B --> C[對Employee Name和Salary進行排序]
    C --> D[列印排序後的資料]

圖表翻譯：

上述流程圖展示了排序的步驟：首先讀取CSV檔案，然後列印原始資料，接著對Employee Name和Salary進行排序，最後列印排序後的資料。

排序員薪水料

依姓名和薪資排序

首先，我們需要了解如何使用Python的pandas函式庫來排序員薪水料。假設我們有一個名為sorting_example2.csv的檔案，包含了員工的姓名、薪資和城市等資訊。

import pandas as pd

# 讀取csv檔案
mydf = pd.read_csv('sorting_example2.csv')

# 顯示原始資料
print(mydf)

print('-'*50)

# 依姓名升序和薪資降序排序
mydf_sorted = mydf.sort_values(by=['Employee Name', 'Salary'], ascending=[True, False])

# 顯示排序後的資料
print(mydf_sorted)

解釋

在上述程式碼中，我們使用了sort_values方法來排序資料。by引數用來指定排序的欄位，在這裡我們指定了Employee Name和Salary。ascending引數用來指定排序的方向，True代表升序，False代表降序。由於我們想要依姓名升序和薪資降序排序，所以我們傳入了[True, False]。

範例輸出

假設原始資料如下：

Employee NameSalaryCity
Saurabh400000.0Mahasamund
Saurabh200000.0Hyderabad
Saurabh170000.0Lara
Saurabh140000.0Raipur
Divya130000.0Durg
Rahul100000.0Bhopal
Ankit10000.0NaN
RohitNaNManuguru

排序後的資料將會是：

Employee NameSalaryCity
Ankit10000.0NaN
Divya130000.0Durg
Rahul100000.0Bhopal
RohitNaNManuguru
Saurabh400000.0Mahasamund
Saurabh200000.0Hyderabad
Saurabh170000.0Lara
Saurabh140000.0Raipur

注意，相同姓名的員工會依薪資降序排序。

圖表翻譯：

  flowchart TD
    A[讀取csv檔案] --> B[顯示原始資料]
    B --> C[依姓名升序和薪資降序排序]
    C --> D[顯示排序後的資料]

這個流程圖展示了程式碼的執行流程。首先，讀取csv檔案，然後顯示原始資料。接下來，依姓名升序和薪資降序排序，最後顯示排序後的資料。

資料過濾與排序

在資料分析中，過濾和排序是兩個非常重要的步驟。過濾可以幫助我們從大量資料中提取出感興趣的部分，而排序則可以讓我們按照特定的順序排列資料，以便更好地理解和分析。

使用 inplace=True 和 ascending 引數進行排序

當我們使用 sort_values 函式時，可以透過 inplace=True 引數直接修改原始資料框，而不需要建立一個新的資料框。另外，ascending 引數可以用來指定排序的順序。

import pandas as pd
import numpy as np

# 建立一個示例資料框
data = {
    'Employee Name': ['Rahul', 'Saurabh', 'Divya', 'Saurabh', 'Ankit', 'Saurabh', 'Rohit', 'Saurabh'],
    'Salary': [100000.0, 200000.0, 130000.0, 140000.0, 10000.0, 170000.0, np.nan, 400000.0],
    'City': ['Bhopal', 'Hyderabad', 'Durg', 'Raipur', np.nan, 'Lara', 'Manuguru', 'Mahasamund']
}
mydf = pd.DataFrame(data)

# 對 'Salary' 進行排序，升序排列
mydf.sort_values(by='Salary', inplace=True, ascending=[True])

print(mydf)

Output:

  Employee Name   Salary        City
4         Ankit  10000.0        NaN
0         Rahul  100000.0      Bhopal
2         Divya  130000.0        Durg
3       Saurabh  140000.0      Raipur
1       Saurabh  170000.0        Lara
5       Saurabh  200000.0      Hyderabad
6         Rohit      NaN    Manuguru
7       Saurabh  400000.0  Mahasamund

篩選特定條件的資料

如果我們想要篩選出特定條件的資料，例如薪水低於某個閾值的員工，可以使用布林索引。

# 篩選薪水低於 150000.0 的員工
filtered_df = mydf[mydf['Salary'] < 150000.0]

print(filtered_df)

Output:

  Employee Name   Salary        City
4         Ankit  10000.0        NaN
0         Rahul  100000.0      Bhopal
2         Divya  130000.0        Durg
3       Saurabh  140000.0      Raipur

這些示例展示瞭如何使用 Pandas 進行資料過濾和排序，幫助您更好地管理和分析您的資料。

資料框架排序

資料框架（dataframe）排序是資料分析中的一個重要步驟。以下將介紹如何使用Python的pandas函式庫來排序資料框架。

根據索引排序

要根據索引排序資料框架，可以使用sort_index()方法。這個方法可以根據索引的值對資料框架進行排序。

import pandas as pd

# 建立一個資料框架
data = {
    'Employee Name': ['Rahul', 'Rohit', 'Saurabh', 'Saurabh', 'Saurabh', 'Saurabh'],
    'Salary': [100000.0, float('nan'), 400000.0, 200000.0, 170000.0, 140000.0],
    'City': ['Bhopal', 'Manuguru', 'Mahasamund', 'Hyderabad', 'Lara', 'Raipur']
}
df = pd.DataFrame(data, index=[0, 6, 7, 1, 5, 3])

print("原始資料框架：")
print(df)
print('-'*50)

# 根據索引排序
df_sorted = df.sort_index()

print("根據索引排序後的資料框架：")
print(df_sorted)

根據欄位排序

要根據欄位排序資料框架，可以使用sort_values()方法。這個方法可以根據一個或多個欄位的值對資料框架進行排序。

# 根據「Employee Name」欄位排序
df_sorted = df.sort_values(by='Employee Name')

print("根據「Employee Name」欄位排序後的資料框架：")
print(df_sorted)

結合索引和欄位排序

可以結合索引和欄位排序來對資料框架進行排序。

# 先根據「Employee Name」欄位排序，然後根據索引排序
df_sorted = df.sort_values(by='Employee Name').sort_index(ascending=False)

print("先根據「Employee Name」欄位排序，然後根據索引排序後的資料框架：")
print(df_sorted)

圖表翻譯：

  graph LR
    A[原始資料框架] -->|sort_index()|> B[根據索引排序]
    A -->|sort_values()|> C[根據欄位排序]
    C -->|sort_index()|> D[結合索引和欄位排序]

圖表翻譯：

上述圖表展示了資料框架排序的過程。原始資料框架可以透過sort_index()方法根據索引排序，或者透過sort_values()方法根據欄位排序。另外，還可以結合索引和欄位排序來對資料框架進行排序。

從資料探索、清理、轉換到排序，本文深入淺出地探討了利用 Pandas 處理和分析資料的關鍵步驟。尤其是在資料排序方面，sort_values() 方法的靈活運用，結合 by、ascending、inplace 等引數，可以實作多欄位排序、升降序控制以及直接修改原始資料等功能，極大提升了資料處理的效率。此外，針對缺失值的處理，na_position 引數的應用，讓資料排序更具彈性，也更貼近實際應用場景。玄貓認為，熟練掌握這些技巧，能有效提升資料分析的效率和準確性，對於從資料中挖掘價值至關重要。未來，隨著資料量的持續增長和資料結構的日益複雜，Pandas 的應用場景將更加廣泛，資料處理的效率和效能也將成為技術發展的重點。對於資料分析師和開發者而言，持續學習和精進 Pandas 的使用技巧，將是保持競爭力的關鍵。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。