Python 資料科學基礎函式庫 NumPy SciPy Matplotlib

– 11 分鐘閱讀

NumPy 作為 Python 資料科學的基本，提供高效能的多維陣列和矩陣運算功能，是 SciPy 和 Matplotlib 等函式庫的基礎。SciPy 建立在 NumPy 之上，擴充套件了科學計算和資料分析的功能，涵蓋最佳化、統計、訊號處理等領域。Matplotlib 則專注於資料視覺化，提供豐富的繪圖工具，能夠建立各種靜態、互動式和動畫圖表，有效地呈現資料分析結果。這三個函式庫共同構成了 Python 資料科學的基礎，為資料處理、分析和視覺化提供了強大的支援。

探索資料科學的基礎：NumPy、SciPy 和 Matplotlib

資料科學是一個快速發展的領域，涉及使用各種技術和工具來分析和解釋資料。在本章中，我們將探索 NumPy、SciPy 和 Matplotlib 這三個基礎函式庫的基本概念和應用。

NumPy：陣列和矩陣運算

NumPy 是一個用於陣列和矩陣運算的函式庫。它提供了高效的資料結構和運算方法，讓我們可以輕鬆地進行資料分析和科學計算。透過 NumPy，我們可以建立和運算元組，進行基本的算術運算，甚至進行高階的矩陣運算。

建立陣列

建立陣列是使用 NumPy 的第一步。陣列可以透過多種方法建立，包括使用列表、元組或其他資料結構。以下是建立一個簡單陣列的例子：

import numpy as np

# 建立一個列表
my_list = [1, 2, 3, 4, 5]

# 將列表轉換為陣列
my_array = np.array(my_list)

print(my_array)

基本算術運算

NumPy 提供了多種基本算術運算，包括加、減、乘、除等。以下是兩個陣列之間進行基本算術運算的例子：

import numpy as np

# 建立兩個陣列
array1 = np.array([1, 2, 3, 4, 5])
array2 = np.array([6, 7, 8, 9, 10])

# 進行加法運算
result = array1 + array2

print(result)

矩陣運算

NumPy 也提供了矩陣運算的功能，包括矩陣乘法、矩陣轉置等。以下是兩個矩陣之間進行矩陣乘法的例子：

import numpy as np

# 建立兩個矩陣
matrix1 = np.array([[1, 2], [3, 4]])
matrix2 = np.array([[5, 6], [7, 8]])

# 進行矩陣乘法
result = np.dot(matrix1, matrix2)

print(result)

SciPy：科學計算和資料分析

SciPy 是一個根據 NumPy 的科學計算和資料分析函式庫。它提供了多種高階功能，包括最佳化、訊號處理、統計分析等。以下是使用 SciPy 進行最佳化的例子：

import numpy as np
from scipy.optimize import minimize

# 定義一個函式
def func(x):
    return x**2 + 10*np.sin(x)

# 進行最佳化
result = minimize(func, 1.0)

print(result)

Matplotlib：資料視覺化

Matplotlib 是一個資料視覺化函式庫，提供了多種繪圖功能，包括線圖、柱狀圖、散點圖等。以下是使用 Matplotlib 繪製一個簡單線圖的例子：

import matplotlib.pyplot as plt

# 建立一些資料
x = np.linspace(0, 10, 100)
y = np.sin(x)

# 繪製線圖
plt.plot(x, y)

# 顯示繪圖
plt.show()

圖表翻譯：

此圖示為使用 Matplotlib 繪製的一個簡單線圖，展示了 sin 函式的曲線。

科學計算與資料分析技術

1. SciPy 最佳實踐

SciPy 是一個強大的 Python 科學計算函式庫，提供了眾多優秀的演算法和工具。其中，最佳化器（optimizers）是 SciPy 中的一個重要模組，提供了多種不同的最佳化演算法，例如找到方程根、最小化函式等。另外，SciPy 還提供了稀疏資料和稀疏矩陣的表示和操作，能夠高效地儲存和操作大型、稀疏的矩陣。

2. Matplotlib 資料視覺化

Matplotlib 是 Python 中的一個強大資料視覺化工具，提供了多種繪圖工具和技術。透過 Matplotlib，我們可以建立各種型別的圖表，例如線圖、柱狀圖、散點圖等。線圖是最基本的圖表型別之一，透過 Matplotlib，我們可以輕鬆地建立線圖，並新增標題、軸標籤、資料點等元素。

3. Pandas 資料操作

Pandas 是 Python 中的一個強大資料操作函式庫，提供了多種資料結構和操作工具。透過 Pandas，我們可以輕鬆地建立和操作 Series 和 DataFrame，進行資料過濾、分組、合併等操作。Pandas 還提供了多種資料輸入和輸出工具，能夠輕鬆地讀寫 CSV、Excel 等檔案。

4. Polars 資料操作

Polars 是 Python 中的一個新興資料操作函式庫，提供了多種優秀的資料結構和操作工具。透過 Polars，我們可以輕鬆地建立和操作 Series 和 DataFrame，進行資料過濾、分組、合併等操作。Polars 還提供了多種資料輸入和輸出工具，能夠輕鬆地讀寫 CSV、Excel 等檔案。

5. 資料視覺化最佳實踐

資料視覺化是資料分析中的一個重要步驟，透過視覺化工具，我們可以更好地理解和呈現資料。Matplotlib 和 Seaborn 是 Python 中兩個常用的視覺化函式庫，提供了多種繪圖工具和技術。透過這些函式庫，我們可以建立各種型別的圖表，例如線圖、柱狀圖、散點圖等。

6. 資料操作最佳實踐

資料操作是資料分析中的一個重要步驟，透過資料操作函式庫，我們可以輕鬆地建立和操作資料結構，進行資料過濾、分組、合併等操作。Pandas 和 Polars 是 Python 中兩個常用的資料操作函式庫，提供了多種優秀的資料結構和操作工具。

第12章：探索Seaborn函式庫，進行Python資料科學

在本章中，我們將深入探討Seaborn函式庫的基本概念，包括定量和定性變數、均值等基本統計術語及其在資料分析中的重要性。讀者將瞭解定量變數（代表數值測量）和定性變數（代表類別或標籤）之間的區別。此外，讀者將熟悉Seaborn中內建的各種資料集，獲得實際的資料視覺化和分析經驗。同時，本章還將涵蓋Seaborn中的圖表樣式原則，教導讀者如何自定義圖表的美學風格，以便更好地呈現和解釋資料。最後，讀者將掌握Seaborn中的色彩調色盤概念，包括定性、順序和分散調色盤，從而能夠根據不同的資料型別和視覺化需求選擇合適的色彩方案。

第13章：使用Seaborn繪製高階圖表

本章將介紹如何使用Seaborn建立各種高階圖表，例如熱力圖、KDE圖、提琴圖、折線圖、散點圖、聯合圖和FacetGrid等。透過這些圖表，讀者可以深入瞭解資料的分佈、趨勢和關係。此外，本章還將涵蓋如何自定義圖表的外觀和風格，以便更好地呈現資料。

第14章：整合資料科學函式庫與ChatGPT提示

在本章中，我們將探討如何使用ChatGPT提示與各種資料科學函式庫（包括Numpy、Scipy、Matplotlib、Pandas、Polars和Seaborn）進行互動，以提取有價值的見解和編碼解決方案。讀者將學習如何為每個函式庫定製有效的提示，從而更好地利用ChatGPT進行資料科學任務。

第15章：探索自動EDA函式庫，進行機器學習

本章將介紹多種Python函式庫，旨在增強資料探索體驗。從PyGWalker Visual函式庫開始，讀者將學習如何將其無縫整合到資料集中，以建立視覺上吸引人的表示。然後，透過dataprep函式庫，讀者將瞭解高效的資料準備和分析方法。接下來，學習者將探索autoviz和pandas_visual_analysis函式庫的功能，每個函式庫都提供不同的功能和視覺化方法，以增強對資料集的理解和解釋。

第16章：使用資料科學函式庫的案例研究

在本章中，我們將透過實際案例展示如何應用資料科學方法。第一個案例研究著重於電氣故障分類別資料集，該資料集旨在識別和分類別電力系統中的各種電氣故障型別。透過使用Pandas和Numpy進行資料操作和預處理，以及Matplotlib和Seaborn進行資料視覺化，讀者將深入瞭解如何運用資料科學函式庫進行實際問題的解決。第二個案例研究關注泰坦尼克號資料集，使用多種資料科學函式庫進行資料預處理和視覺化，以洞察影響乘客生存的因素和其他相關因素。

# 範例程式碼
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 載入泰坦尼克號資料集
titanic_df = pd.read_csv('titanic.csv')

# 對資料進行預處理
titanic_df = titanic_df.dropna()

# 使用Seaborn繪製生存率與乘客等級的關係圖
sns.set()
plt.figure(figsize=(10, 6))
sns.countplot(x='Pclass', hue='Survived', data=titanic_df)
plt.title('乘客等級與生存率')
plt.show()

內容解密：

在上述程式碼中，我們首先匯入必要的函式庫，包括Pandas、Numpy、Matplotlib和Seaborn。然後，我們載入泰坦尼克號資料集，並對其進行預處理，以去除缺失值。接下來，我們使用Seaborn的countplot函式繪製一張圖，展示乘客等級與生存率之間的關係。這張圖可以幫助我們瞭解不同等級的乘客在泰坦尼克號沉沒事件中的生存情況。

圖表翻譯：

此圖示為乘客等級與生存率之間的關係圖。從圖中可以看出，不同等級的乘客其生存率存在明顯差異。透過這張圖，我們可以更好地理解泰坦尼克號沉沒事件中，乘客等級對生存率的影響。

環境設定：Python 中的資料科學函式庫

環境設定的重要性

在開始使用 Python 進行資料科學之前，需要設定適當的環境。這包括安裝必要的資料科學函式庫、設定開發環境以及確保所有工具都能夠正常運作。環境設定的好壞直接影響到後續的開發效率和資料分析的品質。

Python 環境設定步驟

  1. 安裝 Python：首先，需要在電腦上安裝 Python。可以從官方網站下載並安裝最新版本的 Python。
  2. 安裝資料科學函式庫：Python 有多個強大的資料科學函式庫，包括 NumPy、Pandas、Matplotlib 和 Scikit-learn 等。可以使用 pip 進行安裝。
    pip install numpy pandas matplotlib scikit-learn
  3. 設定開發環境：選擇一個適合的編輯器或 IDE（Integrated Development Environment），如 PyCharm、Visual Studio Code 等，來編寫和執行 Python 程式碼。
  4. 安裝 Jupyter Notebook：Jupyter Notebook 是一個非常方便的工具，用於互動式編寫和執行 Python 程式碼。
    pip install jupyter

Python 基礎知識

在深入資料科學之前，需要掌握基本的 Python 知識，包括變數、資料型別、控制結構、函式等。

變數和資料型別

Python 中的變數不需要事先宣告，可以直接指定。支援多種資料型別，如整數、浮點數、字串等。

# 整數
my_int = 10
print(my_int)

# 浮點數
my_float = 3.14
print(my_float)

# 字串
my_str = "Hello, World!"
print(my_str)

控制結構

控制結構包括條件判斷和迴圈。

# 條件判斷
if my_int > 5:
    print("my_int 大於 5")

# 迴圈
for i in range(5):
    print(i)

函式

函式可以封裝一段程式碼，方便重複使用。

def greet(name):
    print(f"Hello, {name}!")

greet("Alice")

資料科學函式庫簡介

  • NumPy：提供高效的陣列運算。
  • Pandas：提供資料結構和資料分析工具。
  • Matplotlib：提供繪圖功能。
  • Scikit-learn：提供機器學習演算法。

內容解密：

以上程式碼展示了基本的 Python 知識和資料科學函式庫的簡介。瞭解這些基礎知識對於後續的資料科學學習至關重要。

圖表翻譯：

  flowchart TD
    A[開始] --> B[安裝Python]
    B --> C[安裝資料科學函式庫]
    C --> D[設定開發環境]
    D --> E[安裝Jupyter Notebook]
    E --> F[開始編寫Python程式碼]

此圖表展示了設定 Python 環境的步驟，從安裝 Python 到開始編寫程式碼。每一步驟都非常重要，以確保能夠順暢地進行資料科學的學習和實踐。

Windows環境下安裝Jupyter Notebook的步驟

要在Windows環境下安裝Jupyter Notebook，首先需要確保您已經安裝了Python。如果您尚未安裝Python，可以從官方Python網站下載並安裝最新版本。

接下來，開啟命令提示符或PowerShell，輸入以下命令以安裝Jupyter Notebook：

pip install jupyter

等待安裝完成後，您可以透過以下命令啟動Jupyter Notebook：

jupyter notebook

這將會啟動Jupyter Notebook的網頁介面，您可以在瀏覽器中存取 http://localhost:8888 來使用Jupyter Notebook。

瞭解Jupyter Notebook

Jupyter Notebook是一種根據網頁的互動式計算環境，允許您建立和分享包含live code、方程式、視覺化和敘述文字的檔案。它支援多種程式語言，包括Python、R、Julia等。

Jupyter Notebook的優點

  • 互動式計算：Jupyter Notebook允許您在單元格中執行code，並立即檢視結果。
  • 多語言支援：Jupyter Notebook支援多種程式語言，包括Python、R、Julia等。
  • 協作功能：Jupyter Notebook允許多個使用者實時協作編輯檔案。

使用Jupyter Notebook的Demo程式

以下是一個簡單的Demo程式，展示如何使用Jupyter Notebook建立一個簡單的Python程式：

# 這是一個簡單的Python程式
print("Hello, World!")

您可以在Jupyter Notebook中建立一個新檔案，然後在單元格中輸入以上code。執行這個單元格後，您將會看到輸出結果。

使用VSCode的Demo程式

VSCode是一種流行的code編輯器，同樣支援Jupyter Notebook的功能。以下是如何使用VSCode建立一個簡單的Python程式：

# 這是一個簡單的Python程式
print("Hello, World!")

您可以在VSCode中建立一個新檔案，然後在檔案中輸入以上code。然後，您可以使用VSCode的內建終端機執行這個程式。

Python資料科學函式庫介紹

Python有多種資料科學函式庫，包括NumPy、Pandas、Matplotlib等。以下是對這些函式庫的簡要介紹：

  • NumPy：提供支援大型、多維陣列和矩陣的資料結構和操作。
  • Pandas：提供高效能、易於使用的資料結構和資料分析工具。
  • Matplotlib：提供建立高品質2D和3D圖表的工具。

隨著資料科學的應用日益普及，對於NumPy、SciPy和Matplotlib等基礎工具的掌握已成為資料從業人員的必備技能。深入剖析這些函式庫的核心功能，可以發現它們在資料處理、科學計算和視覺化方面扮演著不可或缺的角色。NumPy的高效陣列運算為複雜的資料處理任務奠定了基礎；SciPy則提供了更進階的科學計算和分析工具，滿足了資料科學家們對統計分析、訊號處理等方面的需求；Matplotlib則以其豐富的視覺化功能，幫助我們更好地理解和詮釋資料。技術堆疊的各層級協同運作中體現了資料科學工作流程的完整性。然而，這些工具也並非完美無缺。例如，Matplotlib在處理大規模資料集的視覺化時，效能可能成為瓶頸，需要配合其他工具或技術進行最佳化。對於初學者而言，學習曲線也可能較為陡峭，需要投入一定的時間和精力進行學習和實踐。展望未來，隨著資料科學領域的持續發展，預計這些函式庫的功能將會更加完善，並與其他新興技術（例如機器學習平臺、雲端計算服務）深度整合，進一步降低資料分析的門檻，並拓展其應用範圍。玄貓認為，熟練掌握這些基礎工具，並持續關注其發展動態，對於任何想要在資料科學領域有所建樹的人來說都至關重要。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。