機器學習：構建叢集的層次結構

# 載入必要函式庫from sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import AgglomerativeClustering

# 載入資料
iris = datasets.load_iris()
features = iris.data

# 標準化特徵
scaler = StandardScaler()
features_std = scaler.fit_transform(features)

# 建立凝聚式叢集物件
cluster = AgglomerativeClustering(n_clusters=3, linkage='ward')

# 訓練模型
model = cluster.fit(features_std)

# 檢視叢整合員
print(model.labels_)

import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import dendrogram, linkage

# 使用SciPy計算階層叢集
Z = linkage(features_std, method='ward')

# 繪製樹狀圖
plt.figure(figsize=(12, 6))
dendrogram(Z)
plt.title('階

## 神經網路的基礎架構與運作機制

神經網路已成為現代機器學習的核心技術，特別是在處理複雜模式識別問題時展現出驚人的效能。經過多年的實踐，我發現理解神經網路的基本架構是掌握這項技術的關鍵起點。

### 前饋神經網路的三層結構

前饋神經網路（Feedforward Neural Networks）包含三種基本層級：

1. **輸入層（Input Layer）**：位於神經網路的起始位置，每個單元包含一個觀測值的單一特徵。例如，若一個觀測值有100個特徵，則輸入層就有100個節點。

2. **隱藏層（Hidden Layers）**：位於輸入層與輸出層之間，雖名為「隱藏」，但實際上並不神秘。這些隱藏層逐步將輸入層的特徵值轉換成能夠被輸出層處理，並最終近似目標類別的表示形式。

3. **輸出層（Output Layer）**：位於神經網路的末端，將隱藏層的輸出轉換成適合當前任務的值。例如，若目標是二元分類別可以使用一個單元的輸出層，該單元使用sigmoid函式將輸出縮放至0到1之間，代表預測的類別機率。

當神經網路包含許多隱藏層（例如10、100或甚至1000層）時，我們稱之為「深度」網路，其應用則被稱為深度學習。

### 神經網路的學習過程

神經網路的學習過程是一個迭代最佳化過程，主要包含以下步驟：

1. **初始化**：神經網路通常以小的隨機值（來自高斯分佈或均勻分佈）初始化所有引數。

2. **前向傳播（Forward Propagation）**：當一個觀測值（或更常見的是一組稱為批次的觀測值）被輸入網路後，網路輸出的值會與觀測值的真實值使用損失函式進行比較。

3. **反向傳播（Backpropagation）**：演算法會「向後」遍歷網路，識別每個引數對預測值與真實值之間誤差的貢獻程度。

4. **引數調整**：在每個引數處，最佳化演算法會確定每個權重應該如何調整以改善輸出。

神經網路透過對訓練資料中的每個觀測值重複前向傳播和反向傳播的過程來學習，迭代更新引數值。每次所有觀測值都被送入網路一次稱為一個「週期」（epoch），訓練通常包含多個週期。

## Keras：神經網路實作的高階工具

在實作神經網路時，Keras是一個極為流行的Python函式庫eras是一個高階函式庫用其他函式庫ensorFlow和Theano作為其「引擎」。使用Keras的好處在於我們可以專注於網路設計與訓練，將張量操作的細節留給底層函式庫。

使用Keras程式建立的神經網路可以使用CPU（如筆電）和GPU（專用深度學習電腦）進行訓練。在實際應用中，強烈建議使用GPU訓練神經網路；然而，為了學習目的，本文中的神經網路都足夠小與簡單，可以在幾分鐘內在筆電上完成訓練。只需注意，當網路更大與訓練資料更多時，使用CPU的訓練速度會顯著慢於使用GPU。

## 神經網路的資料預處理

### 標準化特徵資料

在神經網路中，資料預處理是確保模型能夠有效學習的關鍵步驟。標準化（Standardization）是最常用的預處理方法之一，它確保所有特徵具有相同的尺度。

以下是使用scikit-learn的StandardScaler進行特徵標準化的範例：

```python
# 載入函式庫
from sklearn import preprocessing
import numpy as np

# 建立特徵
features = np.array([[-100.1, 3240.1],
                     [-200.2, -234.1],
                     [5000.5, 150.1],
                     [6000.6, -125.1],
                     [9000.9, -673.1]])

# 建立標準化器
scaler = preprocessing.StandardScaler()

# 轉換特徵
features_standardized = scaler.fit_transform(features)

# 顯示特徵
features_standardized

array([[-1.12541308,  1.96429418],
       [-1.15329466, -0.50068741],
       [ 0.29529406, -0.22809346],
       [ 0.57385917, -0.42335076],
       [ 1.40955451, -0.81216255]])

# 列印均值和標準差
print("Mean:", round(features_standardized[:,0].mean()))
print("Standard deviation:", features_standardized[:,0].std())

Mean: 0.0
Standard deviation: 1.0

# 載入函式庫
from keras import models
from keras import layers

# 啟動神經網路
network = models.Sequential()

# 增加具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=16, activation="relu", input_shape=(10,)))

# 增加具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=16, activation="relu"))

# 增加具有sigmoid啟用函式的全連線層
network.add(layers.Dense(units=1, activation="sigmoid"))

# 編譯神經網路
network.compile(loss="binary_crossentropy",  # 交叉熵
                optimizer="rmsprop",         # 均方根傳播
                metrics=["accuracy"])        # 精確度效能指標

# 載入必要函式庫
import numpy as np
from keras.datasets import imdb
from keras.preprocessing.text import Tokenizer
from keras import models
from keras import layers

# 設定隨機種子以確保結果可重現
np.random.seed(0)

# 設定特徵數量
number_of_features = 1000

# 載入電影評論資料與目標向量
(data_train, target_train), (data_test, target_test) = imdb.load_data(
    num_words=number_of_features)

# 將電影評論資料轉換為獨熱編碼特徵矩陣
tokenizer = Tokenizer(num_words=number_of_features)
features_train = tokenizer.sequences_to_matrix(data_train, mode="binary")
features_test = tokenizer.sequences_to_matrix(data_test, mode="binary")

# 開始建立神經網路
network = models.Sequential()

# 增加具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=16, 
                        activation="relu", 
                        input_shape=(number_of_features,)))

# 增加另一個具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=16, activation="relu"))

# 增加具有sigmoid啟用函式的輸出層
network.add(layers.Dense(units=1, activation="sigmoid"))

# 編譯神經網路
network.compile(loss="binary_crossentropy",  # 交叉熵
               optimizer="rmsprop",         # 均方根傳播
               metrics=["accuracy"])        # 準確率評估指標

# 訓練神經網路
history = network.fit(features_train,      # 特徵
                     target_train,         # 目標向量
                     epochs=3,             # 訓練輪數
                     verbose=1,            # 顯示訓練過程
                     batch_size=100,       # 每批次觀測數
                     validation_data=(features_test, target_test))  # 測試資料

# 載入必要函式庫
import numpy as np
from keras.datasets import reuters
from keras.utils.np_utils import to_categorical
from keras.preprocessing.text import Tokenizer
from keras import models
from keras import layers

# 設定隨機種子
np.random.seed(0)

# 設定特徵數量
number_of_features = 5000

# 載入特徵和目標資料
data = reuters.load_data(num_words=number_of_features)
(data_train, target_vector_train), (data_test, target_vector_test) = data

# 將特徵資料轉換為獨熱編碼特徵矩陣
tokenizer = Tokenizer(num_words=number_of_features)
features_train = tokenizer.sequences_to_matrix(data_train, mode="binary")
features_test = tokenizer.sequences_to_matrix(data_test, mode="binary")

# 將目標向量進行獨熱編碼，建立目標矩陣
target_train = to_categorical(target_vector_train)
target_test = to_categorical(target_vector_test)

# 開始建立神經網路
network = models.Sequential()

# 增加具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=100,
                        activation="relu",
                        input_shape=(number_of_features,)))

# 增加另一個具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=100, activation="relu"))

# 增加具有softmax啟用函式的輸出層
network.add(layers.Dense(units=46, activation="softmax"))

# 編譯神經網路
network.compile(loss="categorical_crossentropy",  # 分類別叉熵
               optimizer="rmsprop",              # 均方根傳播
               metrics=["accuracy"])             # 準確率評估指標

# 訓練神經網路
history = network.fit(features_train,           # 特徵
                     target_train,              # 目標
                     epochs=3,                  # 3個訓練輪次
                     verbose=0,                 # 不顯示輸出
                     batch_size=100,            # 每批次觀測數
                     validation_data=(features_test, target_test))  # 測試資料

# 檢視訓練歷史
print(history.history['loss'])      # 訓練損失
print(history.history['val_loss'])  # 驗證損失
print(history.history['accuracy'])  # 訓練準確率
print(history.history['val_accuracy'])  # 驗證準確率

# 檢視目標矩陣
target_train
# 輸出結果
array([[ 0., 0., 0., ..., 0., 0., 0.],
       [ 0., 0., 0., ..., 0., 0., 0.],
       [ 0., 0., 0., ..., 0., 0., 0.],
       ...,
       [ 0., 0., 0., ..., 0., 0., 0.],
       [ 0., 0., 0., ..., 0., 0., 0.],
       [ 0., 0., 0., ..., 0., 0., 0.]])

# 載入所需函式庫
import numpy as np
from keras.preprocessing.text import Tokenizer
from keras import models
from keras import layers
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn import preprocessing

# 設定隨機種子
np.random.seed(0)

# 生成特徵矩陣和目標向量
features, target = make_regression(n_samples=10000,
                                 n_features=3,
                                 n_informative=3,
                                 n_targets=1,
                                 noise=0.0,
                                 random_state=0)

# 將資料分為訓練集和測試集
features_train, features_test, target_train, target_test = train_test_split(
    features, target, test_size=0.33, random_state=0)

# 初始化神經網路
network = models.Sequential()

# 增加具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=32,
                       activation="relu",
                       input_shape=(features_train.shape[1],)))

# 增加具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=32, activation="relu"))

# 增加沒有啟用函式的全連線層
network.add(layers.Dense(units=1))

# 編譯神經網路
network.compile(loss="mse",  # 均方誤差
              optimizer="RMSprop",  # 最佳化法
              metrics=["mse"])  # 均方誤差評估指標

# 訓練神經網路
history = network.fit(features_train,  # 特徵
                    target_train,  # 目標向量
                    epochs=10,  # 迭代次數
                    verbose=0,  # 不輸出訓練過程
                    batch_size=100,  # 每批觀測數
                    validation_data=(features_test, target_test))  # 測試資料

# 載入所需函式庫
import numpy as np
from keras.datasets import imdb
from keras.preprocessing.text import Tokenizer
from keras import models
from keras import layers

# 設定隨機種子
np.random.seed(0)

# 設定我們想要的特徵數
number_of_features = 10000

# 從IMDB電影資料載入資料和目標向量
(data_train, target_train), (data_test, target_test) = imdb.load_data(
    num_words=number_of_features)

# 將IMDB資料轉換為獨熱編碼特徵矩陣
tokenizer = Tokenizer(num_words=number_of_features)
features_train = tokenizer.sequences_to_matrix(data_train, mode="binary")
features_test = tokenizer.sequences_to_matrix(data_test, mode="binary")

# 初始化神經網路
network = models.Sequential()

# 增加具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=16,
                       activation="relu",
                       input_shape=(number_of_features,)))

# 增加具有ReLU啟用函式的全連線層
network.add(layers.Dense(units=16, activation="relu"))

# 增加具有sigmoid啟用函式的全連線層
network.add(layers.Dense(units=1, activation="sigmoid"))

# 編譯神經網路
network.compile(loss="binary_crossentropy",  # 交叉熵
               optimizer="rmsprop",  # 均方根傳播最佳化
               metrics=["accuracy"])  # 準確率評估指標

# 訓練神經網路
history = network.fit(features_train,  # 特徵
                    target_train,  # 目標向量
                    epochs=3,  # 迭代次數
                    verbose=0,  # 不輸出訓練過程
                    batch_size=100,  # 每批觀測數
                    validation_data=(features_test, target_test))  # 測試資料

# 預測試集的類別
predicted_target = network.predict(features_test)

# 檢視第一個觀測被預測為類別1的機率
predicted_target[0]
# 輸出結果
array([ 0.83937484], dtype=float32)