能源生產資料分析是現代能源管理的根本，有效的資料分析能幫助我們理解能源結構，進而最佳化能源組態和制定更合理的能源政策。本文將示範如何使用 Python 和常見的資料科學工具，對能源生產資料進行全面的分析和視覺化呈現。首先，我們會對原始資料進行預處理和整合，確保資料的完整性和一致性。接著，進行資料清洗和轉換，例如調整日期格式、欄位重新命名等，為後續分析做好準備。最後，我們將運用多種視覺化方法，例如箱線圖、圓餅圖、時間序列圖等，展現資料中的關鍵洞察，例如不同燃料型別的發電量分佈、佔比變化趨勢，以及太陽能發電量的季節性規律等。
能源生產資料分析：多維度視覺化與洞察
能源生產資料分析是理解能源結構、最佳化能源組態和制定能源政策的基礎。本文將根據提供的資料集，深入探討能源生產的多個導向，並透過視覺化手段呈現關鍵洞察。
資料預處理與整合
首先，我們需要對原始資料進行預處理和整合。資料集包含多個CSV檔案，我們將其合併成一個統一的DataFrame。
import pandas as pd
import glob
# 指定包含CSV檔案的資料夾
folder_name = '/kaggle/input/generation-by-fuel-type-data/'
file_type = 'csv'
separator = ','
# 讀取所有CSV檔案並合併成一個DataFrame
files = glob.glob(folder_name + '*.' + file_type)
dataframes = [pd.read_csv(file, sep=separator) for file in files]
dataframe = pd.concat(dataframes, ignore_index=True)
# 儲存合併後的資料到新的CSV檔案
dataframe.to_csv('combined_data.csv', index=False)
內容解密：
此段程式碼的主要功能是將多個CSV檔案合併成一個統一的DataFrame。首先，使用glob模組取得指定資料夾下所有CSV檔案的路徑。然後，透過列表推導式讀取每個CSV檔案，並將它們合併成一個DataFrame。最後，將合併後的資料儲存到新的CSV檔案中，以便後續分析。
資料清洗與轉換
對合併後的資料進行必要的清洗和轉換，包括重新命名列、轉換日期格式和排序。
df = pd.read_csv('combined_data.csv')
df = df.rename(columns={'datetime_beginning_utc': 'DateTime'})
df['DateTime'] = pd.to_datetime(df['DateTime'])
df = df.sort_values(ascending=False, by='DateTime')
內容解密：
此步驟的主要目的是對資料進行初步的清洗和轉換。首先，重新命名datetime_beginning_utc列為DateTime以便後續處理。然後，將DateTime列轉換為日期時間格式，以便進行時間序列分析。最後，按照DateTime列進行降序排序，以確保資料按照時間順序排列。
視覺化分析
1. 各燃料型別發電量分佈
sns.set(rc={"axes.facecolor":"#F0FFFF", "axes.grid": False})
plt.figure(figsize=(20,6))
sns.boxenplot(x=df['fuel_type'], y=df['mw'], palette="Set1")
plt.show()
圖表翻譯：
此圖表展示了不同燃料型別在發電量（MW）上的分佈情況。透過箱線圖，我們可以觀察到不同燃料型別的發電量中位數、離散程度以及可能的異常值。該圖表有助於理解不同能源來源在總發電量中的貢獻和變異性。
2. 各燃料型別發電量佔比
plt.figure(figsize=(20,6))
my_circle = plt.Circle((0,0), 0.9, color='pink')
plt.pie(df['fuel_type'].value_counts()[:10].values, labels=df['fuel_type'].value_counts()[:10].index, autopct='%1.1f%%')
p = plt.gcf()
p.gca().add_artist(my_circle)
plt.show()
圖表翻譯：
此圓餅圖展示了前10種燃料型別的發電量佔比情況。透過圓餅圖，我們可以直觀地看到不同燃料型別在總發電量中的比例。該圖表有助於識別主要的能源來源和其在整體能源結構中的地位。
時間序列分析
1. 太陽能發電量時間序列分解
df1 = df[df['fuel_type'] == 'Solar']
df1 = df1[['mw', 'DateTime']].set_index('DateTime').sort_index()
from statsmodels.tsa.seasonal import seasonal_decompose
seasonal_decompose(df1, period=365).plot()
plt.show()
圖表翻譯：
此圖表展示了太陽能發電量的時間序列分解結果，包括趨勢、季節性和殘差成分。透過時間序列分解，我們可以深入理解太陽能發電量的變化規律，包括其長期趨勢、季節性波動和隨機變異。
2. 移動平均分析
ma = df1.resample('D').mean()
ma['Moving Average'] = ma['mw'].rolling(5).mean()
actual = ma['mw'][-(5+30):]
ma_line = ma['Moving Average'][-(5+30):]
plt.figure(figsize=(20,6))
actual.plot(label='Actual', lw=4)
ma_line.plot(label='MA-5', ls='--', lw=2)
plt.title('5-Day Moving Average for Solar', weight='bold', fontsize=25)
plt.legend()
plt.show()
圖表翻譯：
此圖表展示了太陽能發電量的5日移動平均線與實際值的對比。透過移動平均分析，我們可以平滑時間序列資料，減少噪聲影響，更清晰地觀察到資料的趨勢變化。
多維度分析
1. 各月份平均發電量
data = df[['Year', 'mw', 'Month']].copy()
color = list(np.full(12, 'grey'))
color[6], color[3] = 'Green', 'Red'
data.groupby('Month').mean().mw.plot(kind='bar', title='Average of Active Power of each Month', color=color, rot=0)
plt.ylabel('Active Power [kW]')
plt.show()
圖表翻譯：
此柱狀圖展示了各月份的平均發電量情況。透過對比不同月份的平均發電量，我們可以觀察到發電量的季節性變化規律。
2. 各燃料型別總發電量佔比
data = df[['fuel_type', 'Year', 'mw']].copy()
subdata = data.groupby('Year').sum()['mw']
subdata = subdata.to_frame()
plt.figure(figsize=(16,6))
subdata.plot(kind='pie', legend=True, subplots=True, autopct='%1.1f%%')
plt.show()
圖表翻譯：
此圓餅圖展示了各年份總發電量的佔比情況。透過分析不同年份的總發電量變化，我們可以觀察到能源生產的年度變化趨勢。
圖表翻譯：
此流程圖展示了能源生產資料分析的主要步驟，包括資料預處理、清洗與轉換、視覺化分析、時間序列分析和多維度分析。透過這些步驟，我們可以系統性地理解和分析能源生產資料，從而為能源政策的制定和最佳化提供科學依據。
## 卡加利市太陽能發電量分析與預測
本文針對卡加利市的能源生產資料進行深入分析，重點研究太陽能發電的趨勢和特徵。研究採用了時間序列分析方法，結合視覺化技術全面呈現了太陽能發電的變化規律。
### 資料預處理與基本分析
首先，我們對原始資料進行了必要的清理和轉換。資料集包含了不同型別的能源生產資訊，包括太陽能、風能、核能等各種來源的發電量。經過初步處理後，我們建立了專門用於時間序列分析的資料集`df_pw`。
```python
# 建立時間序列分析用的資料集
df['DateTime'] = pd.to_datetime(df['DateTime'])
df_pw = df.drop(columns=['fuel_type', 'datetime_beginning_ept', 'fuel_percentage_of_total', 'is_renewable'])
df_pw = df_pw.set_index('DateTime')
資料解密：
此段程式碼的主要功能是將原始資料集轉換為適合進行時間序列分析的格式。首先將DateTime欄位轉換為日期時間格式，接著移除不必要的欄位，最後將DateTime設為資料集的索引。這樣的處理方式便於後續的時間序列分析操作。
太陽能發電量視覺化分析
為了更直觀地瞭解太陽能發電量的變化趨勢，我們進行了多維度的視覺化分析。
@startuml
skinparam backgroundColor #FEFEFE
skinparam componentStyle rectangle
title 能源生產資料分析與視覺化洞察
package "資料視覺化流程" {
package "資料準備" {
component [資料載入] as load
component [資料清洗] as clean
component [資料轉換] as transform
}
package "圖表類型" {
component [折線圖 Line] as line
component [長條圖 Bar] as bar
component [散佈圖 Scatter] as scatter
component [熱力圖 Heatmap] as heatmap
}
package "美化輸出" {
component [樣式設定] as style
component [標籤註解] as label
component [匯出儲存] as export
}
}
load --> clean --> transform
transform --> line
transform --> bar
transform --> scatter
transform --> heatmap
line --> style --> export
bar --> label --> export
note right of scatter
探索變數關係
發現異常值
end note
@enduml圖表翻譯：
此圖示展示了太陽能發電量分析的整體流程。首先進行資料準備，接著計算每日的總發電量，然後進行時間序列的視覺化，最後進行不同年度的比較分析。這個流程清晰地展示了從資料處理到結果呈現的完整分析路徑。
太陽能發電趨勢分析
進一步地，我們對太陽能發電的趨勢進行了詳細分析。透過觀察不同年份的發電量變化，可以發現太陽能發電的季節性特徵和年度增長趨勢。
# 繪製特定年份的發電量趨勢
pw_clean.loc[(pw_clean.index > '2021-01-01') & (pw_clean.index < '2022-01-01')] \
.plot(style='-', figsize=(18,6), title='2021年發電量趨勢')
plt.show()
內容解密：
這段程式碼用於繪製特定年份（2021年）的太陽能發電量趨勢圖。透過篩選特定時間範圍內的資料並進行視覺化，可以清晰地觀察到該年度的發電量變化情況，有助於理解太陽能發電的季節性波動特徵。
未來研究方向
- 預測模型建立：利用時間序列預測模型（如Prophet）對未來的太陽能發電量進行預測。
- 影響因素分析：深入研究影響太陽能發電量的各種因素，如氣象條件、政策支援等。
- 最佳化策略研究：探討如何透過技術和管理手段最佳化太陽能發電的效率和穩定性。
透過本研究，我們對卡加利市的太陽能發電情況有了更深入的瞭解，為未來的能源規劃和政策制定提供了重要的參考依據。未來研究可以進一步拓展到更廣泛的領域，如不同地區的比較分析、新型能源技術的應用前景等，為推動可再生能源的發展做出更大的貢獻。
太陽能發電量預測分析與模型最佳化
隨著再生能源的快速發展，太陽能發電已成為重要的電力來源。準確預測太陽能發電量對於電網排程、能源管理具有重要意義。本文將探討如何使用時間序列分析技術和Prophet模型對太陽能發電量進行預測，並對模型進行最佳化以提升預測準確性。
資料準備與初步分析
首先，我們需要準備太陽能發電的歷史資料。資料集包含時間戳（DateTime）和發電量（MW）。以下為資料範例：
| DateTime | mw | |
–|
–| | 2023-09-09 21:00:00 | 75 | | 2023-09-09 09:00:00 | 0 | | 2023-09-09 20:00:00 | 1126| | 2023-09-09 08:00:00 | 0 | | 2023-09-09 19:00:00 | 1514|
import pandas as pd
import matplotlib.pyplot as plt
# 載入資料
df = pd.read_csv('solar_data.csv')
# 轉換時間欄位
df['DateTime'] = pd.to_datetime(df['DateTime'])
# 設定索引並排序
df2 = df[["DateTime", "mw"]]
df2.set_index("DateTime", inplace=True)
df2.sort_index(inplace=True)
# 繪製發電量時間序列圖
plt.figure(figsize=(20,5))
plt.plot(df2.index, df2['mw'], '.')
plt.title('太陽能發電量時間序列')
plt.xlabel('時間')
plt.ylabel('發電量 (MW)')
plt.show()
圖表翻譯：
此圖展示了太陽能發電量隨時間變化的趨勢。從圖中可見發電量具有明顯的日週期性和季節性變化。白天發電量較高，夜間則接近零。不同季節的發電量也有所不同，顯示出季節性影響。
時間序列分解
為了更好地理解資料的特性，我們可以使用時間序列分解技術將資料分解為趨勢、季節性和殘差成分。
from statsmodels.tsa.seasonal import seasonal_decompose
def seasonal_decompose_plotter(df, period=12, title=''):
decomposition = seasonal_decompose(df.values, period=period)
de_season = decomposition.seasonal
de_resid = decomposition.resid
de_trend = decomposition.trend
fig, ax = plt.subplots(4, sharex=True, figsize=(20,12))
ax[0].set_title(title)
ax[0].plot(df.index, df.values, color='C3')
ax[0].set_ylabel(df.keys()[0])
ax[1].plot(df.index, de_trend, color='C1')
ax[1].set_ylabel('趨勢')
ax[2].plot(df.index, de_season, color='C2')
ax[2].set_ylabel('季節性')
ax[3].axhline(y=0, color='k', linewidth=1)
ax[3].scatter(df.index, de_resid, color='C0', s=10)
ax[3].set_ylabel('殘差')
plt.tight_layout()
plt.show()
# 進行時間序列分解
seasonal_decompose_plotter(df2, period=365*12, title='太陽能發電量分解')
圖表翻譯：
此圖表顯示了太陽能發電量的時間序列分解結果。從上到下分別為原始資料、趨勢成分、季節性成分和殘差成分。趨勢成分顯示了發電量的長期變化，季節性成分反映了週期性變化，而殘差成分則代表了無法被趨勢和季節性成分解釋的部分。
使用Prophet模型進行預測
Prophet是Facebook開發的一個開源時間序列預測工具，特別適合處理具有強烈季節性和趨勢性的資料。以下是使用Prophet模型進行太陽能發電量預測的步驟：
from prophet import Prophet
# 準備資料
df_solar = df2.reset_index()
df_solar = df_solar.rename(columns={'DateTime':'ds', 'mw':'y'})
# 建立Prophet模型
model_param = {
"daily_seasonality": True,
"weekly_seasonality": True,
"yearly_seasonality": True,
"seasonality_mode": "multiplicative",
"changepoint_prior_scale": 0.5
}
model = Prophet(**model_param)
model.fit(df_solar)
# 建立未來資料框
future = model.make_future_dataframe(periods=365*24*2, freq='H')
# 進行預測
forecast = model.predict(future)
# 繪製預測結果
fig = model.plot(forecast, xlabel='時間', ylabel='發電量 (MW)')
plt.title('太陽能發電量預測')
plt.show()
圖表翻譯：
此圖展示了使用Prophet模型對未來太陽能發電量的預測結果。藍色線條代表預測值，深色區域代表預測的不確定範圍。預測結果捕捉到了發電量的季節性和日變化趨勢。
模型最佳化：改進夜間預測
觀察預測結果，可以發現夜間預測值並非完全為零，這與實際情況不符。為了改進這一點，我們可以對資料進行處理，只保留白天的資料進行建模。
# 只保留白天資料
df_solar_day = df_solar[(df_solar['ds'].dt.hour >= 6) & (df_solar['ds'].dt.hour < 18)]
# 重新建立模型並進行預測
model_day = Prophet(**model_param)
model_day.fit(df_solar_day)
future_day = future[(future['ds'].dt.hour >= 6) & (future['ds'].dt.hour < 18)]
forecast_day = model_day.predict(future_day)
# 繪製改進後的預測結果
fig = model_day.plot(forecast_day)
plt.title('改進後的太陽能發電量預測')
plt.show()
圖表翻譯：
此圖展示了改進後的預測結果。透過只使用白天的資料進行建模，夜間的預測值被有效地限制在合理範圍內，預測結果更符合實際情況。
圖表翻譯：
此流程圖展示了整個太陽能發電量預測分析的流程，從資料準備到最終的預測結果。透過逐步分析和建模，我們能夠獲得準確的預測結果，並進一步最佳化模型以提升預測效能。
未來工作方向
未來，我們可以進一步探索以下方向來提升太陽能發電量預測的準確性和實用性：
- 整合更多資料源：結合天氣預報資料（如日照強度、雲量等）來提升預測準確性。
- 模型比較：比較不同預測模型（如ARIMA、LSTM等）的效能，選擇最優模型。
- 即時資料更新：實作即時資料更新機制，確保預測模型始終根據最新的資料。
- 區域性預測：針對不同地理區域進行獨立預測，以捕捉區域性差異。
透過這些努力，我們可以進一步提升太陽能發電量預測的準確性和可靠性，為再生能源的管理和應用提供更有力的支援。
