Python NumPy Pandas 資料分析與視覺化技巧

– 11 分鐘閱讀

NumPy 提供了強大的數值計算功能，Pandas 則簡化了資料處理和分析流程。利用這兩個函式函式庫，我們可以有效地處理各種資料，例如時間序列資料、表格資料等。Matplotlib 則提供了資料視覺化的工具，可以將資料以圖表的形式呈現，方便我們理解資料的趨勢和模式。資料標準化是資料預處理的重要步驟，可以消除不同變數之間的量綱差異，提高模型的準確性和穩定性。

import pandas as pd
import numpy as np

# 生成示例資料
data = {'Value': np.random.rand(10)}
df = pd.DataFrame(data)

# 計算平均值
average = df['Value'].mean()
print(f"平均值: {average}")

# 使用 NumPy 計算平均值
numpy_average = np.mean(df['Value'])
print(f"NumPy 平均值: {numpy_average}")

標準常態分佈

標準常態分佈是一種常見的分佈，描述了大多數自然現象的變化。NumPy 中的 np.random.standard_normal() 函式可以生成標準常態分佈的隨機數字。

import numpy as np

# 生成 10 個標準常態分佈的隨機數字
random_numbers = np.random.standard_normal(10)
print(random_numbers)

普瓦松分佈

普瓦松分佈是一種描述離散隨機變數的分佈，常用於描述事件的發生次數。NumPy 中的 np.random.poisson() 函式可以生成普瓦松分佈的隨機數字。

import numpy as np

# 生成 10 個普瓦松分佈的隨機數字，平均值為 5
random_numbers = np.random.poisson(5, 10)
print(random_numbers)

其他分佈

NumPy 中還提供了其他分佈的隨機數字生成函式，例如 np.random.uniform()、np.random.normal() 等。這些函式可以根據不同的需求生成不同的隨機數字。

import numpy as np

# 生成 10 個均勻分佈的隨機數字，範圍為 [0, 1]
random_numbers = np.random.uniform(0, 1, 10)
print(random_numbers)

# 生成 10 個常態分佈的隨機數字，平均值為 0，標準差為 1
random_numbers = np.random.normal(0, 1, 10)
print(random_numbers)

圖表翻譯：

  flowchart TD
    A[開始] --> B[生成隨機數字]
    B --> C[標準常態分佈]
    C --> D[普瓦松分佈]
    D --> E[其他分佈]
    E --> F[結束]

圖表翻譯：

上述流程圖描述了生成隨機數字的過程，從開始到結束，分別經過標準常態分佈、普瓦松分佈和其他分佈的生成。

標準化資料處理

在進行資料分析之前，標準化資料是一個非常重要的步驟。標準化的目的是將資料轉換為均值為0，標準差為1的分佈，這樣可以避免不同尺度的資料之間的幹擾，提高模型的穩定性和準確性。

使用 NumPy 進行標準化

以下是使用 NumPy 對資料進行標準化的步驟：

  1. 生成隨機資料：首先，我們使用 np.random.standard_normal 生成一個 5x100 的隨機資料矩陣。
  2. 計算均值和標準差：然後，我們使用 data.mean() 和 data.std() 分別計算資料的均值和標準差。
  3. 減去均值：接下來，我們使用 data - data.mean() 將資料的均值減去，將資料的均值轉換為 0。
  4. 除以標準差：最後，我們使用 data / data.std() 將資料的標準差除去，將資料的標準差轉換為 1。

程式碼實作

import numpy as np

# 生成隨機資料
np.random.seed(1000)
data = np.random.standard_normal((5, 100))

# 計算均值和標準差
mean = data.mean()
std = data.std()

# 減去均值
data = data - mean

# 除以標準差
data = data / std

print("均值：", data.mean())
print("標準差：", data.std())

結果

經過標準化處理後，資料的均值為 0，標準差為 1。這樣可以保證資料在進行分析或建模時具有相同的尺度，避免了不同尺度之間的幹擾。

內容解密：

在上述程式碼中，我們使用了 NumPy 的 standard_normal 函式生成隨機資料，然後使用 mean 和 std 函式計算資料的均值和標準差。接下來，我們使用減法和除法運算子將資料的均值和標準差進行轉換。最後，我們使用 print 函式輸出標準化後的資料的均值和標準差。

圖表翻譯：

  flowchart TD
    A[生成隨機資料] --> B[計算均值和標準差]
    B --> C[減去均值]
    C --> D[除以標準差]
    D --> E[輸出結果]

在這個流程圖中，我們可以看到標準化資料的步驟：生成隨機資料、計算均值和標準差、減去均值、除以標準差，最後輸出結果。這個流程圖可以幫助我們更好地理解標準化資料的過程。

Python、NumPy、Matplotlib及Pandas技術概覽

簡介

Python是一種高階程式語言，廣泛用於資料分析、機器學習和資料視覺化等領域。NumPy、Matplotlib和Pandas是Python生態系統中三個重要的函式庫，分別提供陣列運算、資料視覺化和資料分析功能。

NumPy

NumPy（Numerical Python）是一個提供高效陣列運算的函式庫。它允許使用者建立多維陣列，進行元素級別的運算，並提供了多種數學函式。以下是使用NumPy生成隨機資料的範例：

import numpy as np

# 生成10個標準正態分佈的隨機數
data = np.random.standard_normal(10)
print(data)

# 生成10個泊松分佈的隨機數
data_poisson = np.random.poisson(5, 10)
print(data_poisson)

Matplotlib

Matplotlib是一個提供資料視覺化功能的函式庫。它允許使用者建立多種型別的圖表，包括線圖、柱狀圖、直方圖等。以下是使用Matplotlib建立一個簡單的線圖的範例：

import matplotlib.pyplot as plt

# 生成5個隨機資料點
data = np.random.standard_normal((5, 100))

# 建立一個新圖表
plt.figure(figsize=(10, 6))

# 繪製累積和
plt.plot(data.cumsum())

# 顯示圖表
plt.show()

Pandas

Pandas是一個提供資料分析功能的函式庫。它允許使用者建立和操作資料框（DataFrame），並提供了多種資料分析和篩選功能。以下是使用Pandas建立一個簡單的DataFrame的範例：

import pandas as pd

# 生成5個隨機資料點
data = np.random.standard_normal((5, 100))

# 建立一個DataFrame
df = pd.DataFrame(data)

# 顯示DataFrame
print(df)

資料視覺化

Matplotlib和Pandas可以一起使用來建立多種型別的圖表。以下是使用Matplotlib和Pandas建立一個簡單的直方圖的範例：

import matplotlib.pyplot as plt
import pandas as pd

# 生成5個隨機資料點
data = np.random.standard_normal((5, 100))

# 建立一個DataFrame
df = pd.DataFrame(data)

# 繪製直方圖
df.plot.hist(bins=50)

# 顯示圖表
plt.show()

使用Python和pandas進行資料分析

簡介

pandas是一個強大的Python函式庫，用於高效地處理和分析結構化資料，特別是時間序列資料和表格資料。它提供了多種功能，包括資料清理、轉換、合併、分組和分析。

DataFrame類別

DataFrame是pandas中最常用的資料結構，它類似於關係型資料函式庫中的表格。它由行索引、列名稱和表格資料組成。以下是建立一個簡單的DataFrame的例子：

import pandas as pd
import numpy as np

# 設定隨機種子
np.random.seed(1000)

# 生成隨機資料
raw = np.random.standard_normal((10, 3)).cumsum(axis=0)

# 建立日期索引
index = pd.date_range('2022-1-1', periods=len(raw), freq='M')

# 建立DataFrame
df = pd.DataFrame(raw, index=index, columns=['A', 'B', 'C'])

print(df)

資料分析

pandas提供了多種功能用於資料分析，包括分組、合併、排序和過濾。以下是對DataFrame進行分組和計算均值的例子：

# 分組並計算均值
grouped = df.groupby(df.index.month)
mean = grouped.mean()

print(mean)

資料視覺化

pandas可以與matplotlib和seaborn等函式庫結合，用於資料視覺化。以下是使用matplotlib繪製DataFrame的例子：

import matplotlib.pyplot as plt

# 繪製DataFrame
df.plot(figsize=(10, 6))
plt.show()

使用Python和pandas進行資料分析

匯入必要的套件

首先，我們需要匯入必要的套件，包括pandas、numpy和matplotlib。這些套件將幫助我們進行資料分析和視覺化。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

建立一個DataFrame

接下來，我們建立一個DataFrame物件，包含一些隨機資料。這個DataFrame將有三列，分別是no1、no2和no3。

np.random.seed(0)  # 設定隨機數種子
raw = np.random.randn(10, 3)  # 生成10行3列的隨機資料
index = pd.date_range('2022-01-31', periods=10, freq='M')  # 建立日期索引
columns = ['no1', 'no2', 'no3']  # 定義欄位名稱
df = pd.DataFrame(raw, index=index, columns=columns)  # 建立DataFrame

顯示DataFrame

現在，我們可以顯示出剛剛建立的DataFrame。

print(df)

使用head()方法顯示前幾行

head()方法可以用來顯示DataFrame的前幾行。預設情況下，它會顯示前5行。

print(df.head())

自訂head()方法的行數

如果你想顯示更多或更少的行，可以傳入一個整數引數到head()方法中。

print(df.head(3))  # 顯示前3行

這些方法可以幫助你快速瀏覽和檢查你的資料。

時間序列資料分析

時間序列資料是一種特殊的資料型態，描述的是隨著時間的推移而變化的資料。在這個例子中，我們使用Python的pandas函式庫來處理時間序列資料。

資料匯入和檢視

import pandas as pd

# 匯入資料
df = pd.read_csv('data.csv', index_col='date', parse_dates=['date'])

# 檢視資料
print(df.head())
print(df.tail())

資料索引和選擇

# 檢視資料索引
print(df.index)

# 選擇特定日期的資料
print(df.loc['2022-01-31'])

資料視覺化

import matplotlib.pyplot as plt

# 繪製時間序列圖
df.plot(figsize=(10,6))
plt.title('時間序列圖')
plt.xlabel('日期')
plt.ylabel('值')
plt.show()

資料分析

# 計算資料的統計量
print(df.describe())

# 計算資料的相關係數
print(df.corr())

結果解釋

時間序列資料分析可以幫助我們瞭解資料的趨勢和模式。在這個例子中，我們使用pandas和matplotlib函式庫來處理和視覺化時間序列資料。結果顯示資料的趨勢和相關係數，可以幫助我們做出更好的決策。

內容解密：

在這個例子中，我們使用pandas函式庫來匯入和處理時間序列資料。然後，我們使用matplotlib函式庫來視覺化資料。最後，我們計算資料的統計量和相關係數，來瞭解資料的趨勢和模式。

圖表翻譯：

時間序列圖可以幫助我們瞭解資料的趨勢和模式。在這個例子中，圖表顯示資料的值隨著時間的推移而變化。圖表可以幫助我們做出更好的決策。

  flowchart TD
    A[匯入資料] --> B[檢視資料]
    B --> C[選擇特定日期的資料]
    C --> D[視覺化資料]
    D --> E[計算統計量和相關係數]
    E --> F[結果解釋]

圖表翻譯：

這個流程圖可以幫助我們瞭解時間序列資料分析的流程。從匯入資料到結果解釋，每一步都很重要。圖表可以幫助我們做出更好的決策。

時間序列資料分析

時間序列資料是一種特殊的資料型態，其特點是資料按照時間順序排列。在這種資料中，每個資料點都對應著一個特定的時間戳。時間序列資料的分析是許多領域中的一個重要任務，例如金融、氣象、交通等。

時間序列資料的基本特性

時間序列資料具有以下幾個基本特性：

  • 時間順序：資料按照時間順序排列。
  • 時間間隔：資料之間的時間間隔通常是固定的，例如每天、每小時等。
  • 時間相關性：資料之間通常存在時間相關性，例如今天的溫度可能與昨天的溫度相關。

時間序列資料的描述統計

描述統計是對資料進行初步分析的方法，包括計算資料的基本統計量，例如均值、標準差、最小值、最大值等。以下是使用Python的pandas函式庫對時間序列資料進行描述統計的例子：

import pandas as pd

# 建立時間序列資料
data = {'no1': [1, 2, 3, 4, 5],
        'no2': [6, 7, 8, 9, 10],
        'no3': [11, 12, 13, 14, 15]}
index = pd.date_range('2022-01-01', periods=5, freq='M')
df = pd.DataFrame(data, index=index)

# 計算描述統計
print(df.describe())

時間序列資料的視覺化

視覺化是對資料進行圖形化展示的方法，可以幫助我們更好地理解資料的特性。以下是使用Python的matplotlib函式庫對時間序列資料進行視覺化的例子：

import matplotlib.pyplot as plt

# 建立時間序列資料
data = {'no1': [1, 2, 3, 4, 5],
        'no2': [6, 7, 8, 9, 10],
        'no3': [11, 12, 13, 14, 15]}
index = pd.date_range('2022-01-01', periods=5, freq='M')
df = pd.DataFrame(data, index=index)

# 繪製圖形
df.plot(figsize=(10, 6))
plt.title('時間序列資料')
plt.xlabel('時間')
plt.ylabel('值')
plt.show()

時間序列資料的預測

預測是對未來的時間序列資料進行預測的方法，可以幫助我們做出決策。以下是使用Python的statsmodels函式庫對時間序列資料進行預測的例子：

import statsmodels.api as sm

# 建立時間序列資料
data = {'no1': [1, 2, 3, 4, 5],
        'no2': [6, 7, 8, 9, 10],
        'no3': [11, 12, 13, 14, 15]}
index = pd.date_range('2022-01-01', periods=5, freq='M')
df = pd.DataFrame(data, index=index)

# 建立ARIMA模型
model = sm.tsa.ARIMA(df['no1'], order=(1,1,1))
result = model.fit()

# 預測未來的值
forecast = result.forecast(steps=3)
print(forecast)

瞭解 Pandas DataFrame 的數值運算

Pandas 的 DataFrame 是一個強大的資料結構，特別適合處理二維的表格資料。它提供了許多便捷的方法來進行數值運算，讓使用者可以輕鬆地對資料進行操作。

基本數值運算

DataFrame 的數值運算與 NumPy 的 ndarray 物件相似，使用方法也非常接近。以下是一個簡單的例子：

import pandas as pd

# 建立一個 DataFrame
data = {
    'no1': [-0.804194, -0.160269, -0.535144, -1.464479, -3.856618, -3.650232, -1.106642, -1.305605, -0.681369, -1.447664],
    'no2': [0.641863, 0.040270, -0.919696, 0.414866, -0.397054, -0.673898, -2.647393, -1.833009, 1.233314, -0.412568],
    'no3': [-0.050966, 0.727983, 1.918054, 0.305823, -0.058932, 1.352453, 0.682782, 2.521557, 1.421210, 4.621376]
}
index = ['2022-01-31', '2022-02-28', '2022-03-31', '2022-04-30', '2022-05-31', '2022-06-30', '2022-07-31', '2022-08-31', '2022-09-30', '2022-10-31']
df = pd.DataFrame(data, index=index)

# 對 DataFrame 進行數值運算
print(df * 2)

標準差計算

除了基本的數值運算，DataFrame 還提供了許多統計方法，例如計算標準差。標準差是描述資料離散程度的重要指標。

# 計算 DataFrame 的標準差
print(df.std())

這些方法使得使用者可以輕鬆地對資料進行分析和運算，從而更好地理解資料的特性和規律。

圖表翻譯：

  flowchart TD
    A[資料建立] --> B[DataFrame 建立]
    B --> C[數值運算]
    C --> D[標準差計算]
    D --> E[結果輸出]

圖表說明：

上述流程圖展示了從資料建立到結果輸出的整個過程。首先，建立原始資料，然後使用 Pandas 建立 DataFrame。接下來，對 DataFrame 進行數值運算，例如乘以 2。最後，計算 DataFrame 的標準差，並輸出結果。這個流程圖清晰地展示了資料分析的步驟，幫助使用者更好地理解資料的處理過程。

使用 Pandas 和 NumPy 進行資料分析

在進行資料分析時，瞭解如何使用 Pandas 和 NumPy 這兩個強大的 Python 函式函式庫是非常重要的。以下是使用這些函式庫來計算資料的平均值的示例。

從技術架構視角來看，NumPy 與 Pandas 的結合，為 Python 的資料分析能力奠定了堅實的基礎。本文深入探討了 NumPy 的隨機數字生成、資料標準化方法，以及 Pandas 的 DataFrame 資料結構和時間序列分析功能。藉由多維陣列和 DataFrame 的高效運算，開發者得以輕鬆處理大規模資料集，並進行複雜的統計分析和視覺化。然而，Pandas 在處理極大規模資料時，受限於單機記憶體，仍有效能瓶頸。整合價值分析顯示，NumPy 提供的底層數值計算能力與 Pandas 的高階資料操作功能相輔相成，大幅簡化了資料處理流程。展望未來，隨著分散式計算框架的發展，預期 Pandas 將與 Dask 等技術更緊密整合，突破現有效能限制，進一步提升資料分析效率。玄貓認為，熟練掌握 NumPy 和 Pandas，將是資料科學家和分析師的必備技能。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。