Stable Diffusion進階技巧ControlNet與DreamBooth模型訓練

– 15 分鐘閱讀

Stable Diffusion 的 Img2Img 功能除了基本的影像轉換外，還支援繪畫和外繪功能，讓使用者能更精細地控制影像的生成過程。配合特定的繪畫模型，可以獲得更佳的效果。此外，ControlNet 提供了更進階的控制方法，允許使用者透過邊緣檢測、姿勢、深度等技術，更精確地控制最終生成的影像。對於需要精細分割影像的應用，SAM 模型可以根據使用者的輸入或自動分割影像中的元素，方便後續的編輯和處理。最後，DreamBooth 微調技術讓使用者能根據自己的需求定製 Stable Diffusion 模型，生成特定主題或風格的影像，例如生成個人專業頭像。

SD繪畫和外繪畫

Img2Img還支援繪畫和外繪畫，並提供了一個簡單的畫布工具來建立遮罩。要使用繪畫或外繪畫，請點選Img2Img標籤中的「繪畫」子標籤並上傳您的影像。建議使用特定的繪畫模型以獲得更好的結果，您可以透過安裝玄貓的模型檔案並將其移動到您的「模型」目錄中來實作此功能。重新啟動介面後，模型應該會出現在頂部左側的下拉選單中。畫布允許您使用刷子從影像中移除部分內容，就像在DALL-E中一樣，這可以調整大小以實作細膩的控制。

提供方向

繪畫如此強大是因為它給了您控制權。隔離影像的個別部分並提供詳細的修復指示，可以讓您更高效地工作，而不會影響影像的其他部分。如果您對繪畫區域進行小幅度調整，請使用「原始」作為遮罩內容選項，並將去噪強度設定為0.2至0.4。如果您完全替換影像中的元素，您可能需要使用「潛在噪聲」選項，並將去噪強度設定為0.8，儘管當您超過0.4時，您將開始看到全域性不一致的元素和影像中的幻覺，因此可能需要花費時間來迭代以獲得可行的結果。

ControlNet

使用提示和Img2Img或基礎影像，可以控制影像的風格，但影像中的人物姿勢、場景組成或物體結構往往會有很大差異。ControlNet是一種高階方法，用於為影像生成模型（如Stable Diffusion）條件化輸入影像。它允許您透過各種技術（如邊緣檢測、姿勢、深度等）對最終生成的影像進行更多控制。您可以上傳要模擬的影像，並使用預訓練模型選項來處理影像，以便與您的提示一起輸入，從而生成具有不同風格的匹配影像組成。

  flowchart TD
    A[開始] --> B[上傳影像]
    B --> C[選擇繪畫模型]
    C --> D[設定遮罩和引數]
    D --> E[執行繪畫或外繪畫]
    E --> F[檢視結果]

圖表翻譯：

此流程圖描述瞭如何使用Img2Img進行繪畫或外繪畫。首先，上傳要修改的影像。然後，選擇合適的繪畫模型。接下來，設定好遮罩和其他引數，以確保修改正確地套用到影像上。執行繪畫或外繪畫功能後，檢視結果以確保它符合您的期望。如果需要，重複此過程以達到理想的效果。

內容解密：

ControlNet是一種強大的工具，允許使用者對影像生成過程進行更多控制。透過上傳一張影像並選擇合適的預訓練模型，使用者可以生成具有不同風格但匹配組成的新影像。這個過程涉及設定遮罩和其他引數，以確保新生成的內容無縫地融入原始影像中。透過這種方式，使用者可以創造出更具個人化和創造力的影像。

ControlNet：影像生成的新維度

ControlNet是一種強大的影像生成工具，允許使用者對生成的影像進行精確控制。透過使用不同的前處理器和模型，ControlNet可以實作從簡單的邊緣檢測到複雜的深度對映和骨架估計等多種功能。

ControlNet的工作原理

ControlNet的工作原理是先將輸入影像進行預處理，然後使用相應的模型生成控制影像。控制影像可以用於控制生成影像的各個方面，例如邊緣、深度、骨架等。使用者可以根據需要選擇不同的前處理器和模型，以實作不同的效果。

ControlNet的應用

ControlNet的應用範圍非常廣泛，包括但不限於：

  • 影像風格轉換：ControlNet可以用於將一張影像轉換成另一種風格，例如將一張照片轉換成一幅畫。
  • 物體檢測：ControlNet可以用於檢測影像中的物體，並將其分割出來。
  • 影像修復：ControlNet可以用於修復損壞的影像，例如將一張模糊的照片轉換成一張清晰的照片。
  • 動畫生成：ControlNet可以用於生成動畫，例如將一張靜態影像轉換成一段動畫。

ControlNet的優點

ControlNet的優點包括：

  • 高精確度：ControlNet可以生成高精確度的影像，尤其是在邊緣檢測和深度對映等方面。
  • 靈活性：ControlNet可以根據使用者的需要選擇不同的前處理器和模型，以實作不同的效果。
  • 易用性：ControlNet的使用介面簡單易用，即使是沒有豐富經驗的使用者也可以輕鬆使用。

ControlNet的示例

以下是一些ControlNet的示例：

  • Canny邊緣檢測：Canny邊緣檢測是一種常用的邊緣檢測演算法，ControlNet可以使用Canny邊緣檢測來生成高品質的邊緣影像。
  • 深度對映：深度對映是一種用於估計影像深度的技術，ControlNet可以使用深度對映來生成高品質的深度影像。
  • 骨架估計：骨架估計是一種用於估計影像中物體骨架的技術，ControlNet可以使用骨架估計來生成高品質的骨架影像。

影像分割技術：SAM模型

在AI生成影像的過程中，能夠自動分割出特定物體或元素的遮罩（mask）是非常有用的。例如，從影像中分離出人或物體的背景，可以讓我們輕易地更換背景或進行影像編輯。SAM（Segment Anything Model）是一種強大的模型，能夠根據使用者的輸入（如點選影像新增一到三個點）或自動地分割影像中的元素。

SAM模型是在GitHub上開源的，由玄貓釋出。該模型是在11百萬張影像和11億個遮罩的資料集上訓練的，能夠根據使用者的輸入或自動地推斷出影像中的遮罩。這些遮罩可以用於影像編輯、ControlNet或作為基礎影像。

安裝SAM擴充功能

要使用SAM模型，需要在AUTOMATIC1111介面中安裝sd-webui-segment-anything擴充功能。安裝步驟如下：

  1. 開啟AUTOMATIC1111介面，導航到「擴充功能」標籤。
  2. 點選「可用擴充功能」子標籤。
  3. 在搜尋框中輸入「sd-webui-segment-anything」以找到擴充功能。
  4. 點選「安裝」按鈕以安裝SAM擴充功能。
  5. AUTOMATIC1111將下載並安裝必要的檔案。

使用SAM模型

安裝SAM擴充功能後，需要下載SAM模型權重檔案（sam_vit_l_0b3195.pth）。然後，將下載的模型權重檔案移動到stable-diffusion-webui/sd-webui-segment-anything/models/sam目錄中。

重啟AUTOMATIC1111後，SAM擴充功能將出現在Img2Img標籤中。上傳一張影像，然後點選影像以選擇個別的提示點。這些提示點將作為使用者輸入，幫助SAM模型確定哪些元素應該被分割出來。可以點選「預覽」按鈕以檢視生成的遮罩，並迭代新增或刪除提示點以獲得正確的遮罩。

內容解密：

SAM模型的工作原理是根據使用者的輸入或自動地推斷出影像中的遮罩。該模型使用了一種稱為「視覺轉換器」（Visual Transformer）的架構，能夠將影像分割成多個區域，並根據區域的特徵生成遮罩。SAM模型還使用了一種稱為「注意力機制」（Attention Mechanism）的技術，能夠根據使用者的輸入或自動地聚焦於影像中的特定區域。

圖表翻譯：

  flowchart TD
    A[影像輸入] --> B[SAM模型]
    B --> C[遮罩生成]
    C --> D[影像編輯]

此圖表展示了SAM模型的工作流程。首先，輸入一張影像，然後SAM模型根據使用者的輸入或自動地生成遮罩。最後，生成的遮罩可以用於影像編輯。

DreamBooth微調

DreamBooth是一種微調技術，允許使用者在Stable Diffusion模型上新增新的概念或風格。這種技術可以用於生成具有特定主題或風格的影像。DreamBooth微調需要一個小型的資料集和少量的計算資源，因此比訓練一個全新的模型要快得多。

內容解密：

DreamBooth微調的工作原理是更新Stable Diffusion模型的權重，以便模型能夠理解新的概念或風格。這種技術使用了一種稱為「梯度下降」（Gradient Descent）的最佳化演算法，能夠最小化模型的損失函式，並更新模型的權重。

圖表翻譯：

  flowchart TD
    A[Stable Diffusion模型] --> B[DreamBooth微調]
    B --> C[新概念或風格]
    C --> D[影像生成]

此圖表展示了DreamBooth微調的工作流程。首先，使用Stable Diffusion模型作為基礎，然後使用DreamBooth微調技術新增新的概念或風格。最後，生成具有特定主題或風格的影像。

使用DreamBooth進行Fine-Tuning的步驟

DreamBooth是一種強大的工具，能夠對Stable Diffusion模型進行Fine-Tuning，從而實作對特定概念或風格的生成。以下是使用DreamBooth進行Fine-Tuning的步驟：

步驟1：安裝必要的函式庫

首先，需要安裝必要的函式庫，包括accelerate、transformers、ftfy、bitsandbytes、gradio、natsort、safetensors和xformers。可以使用以下命令安裝：

%pip install -q accelerate transformers ftfy \
bitsandbytes==0.35.0 gradio natsort safetensors xformers

步驟2：設定輸出目錄

接下來，需要設定輸出目錄，指定模型權重儲存的位置。可以選擇儲存到Google Drive或Google Colab檔案系統。設定save_to_gdrive變數為True或False，以決定是否儲存到Google Drive。

save_to_gdrive = False
if save_to_gdrive:
    drive.mount('/content/drive')
MODEL_NAME = "runwayml/stable-diffusion-v1-5"
OUTPUT_DIR = "stable_diffusion_weights/ukj"
if save_to_gdrive:
    OUTPUT_DIR = "/content/drive/MyDrive/" + OUTPUT_DIR
else:
    OUTPUT_DIR = "/content/" + OUTPUT_DIR
print(f"[*] Weights will be saved at {OUTPUT_DIR}")
!mkdir -p $OUTPUT_DIR

步驟3：新增概念

接下來，需要新增要訓練的概念。可以新增多個概念，但通常只訓練一個主題或風格。可以合併模型，但這需要更高階的知識。

concepts_list = [
    {
        "instance_prompt": "photo of ukj person",
        "class_prompt": "photo of a person",
        "instance_data_dir": "/content/data/ukj",
        "class_data_dir": "/content/data/person"
    }
]

步驟4：上傳影像

接下來，需要上傳影像到Google Colab檔案系統或使用上傳按鈕。DreamBooth可以使用少至5張影像，但通常建議使用20-30張影像。

import os
import shutil

步驟5：開始訓練

最後，需要開始訓練模型。可以調整--max_train_steps引數以控制訓練步驟數。

# Try tweaking `--max_train_steps` accordingly.

內容解密：

DreamBooth是一種強大的工具，能夠對Stable Diffusion模型進行Fine-Tuning。透過新增概念，上傳影像，然後開始訓練模型，可以實作對特定概念或風格的生成。需要注意的是，訓練模型需要大量的計算資源和時間。

圖表翻譯：

以下是DreamBooth Fine-Tuning流程圖：

  flowchart TD
    A[安裝函式庫] --> B[設定輸出目錄]
    B --> C[新增概念]
    C --> D[上傳影像]
    D --> E[開始訓練]
    E --> F[模型生成]

這個流程圖展示了DreamBooth Fine-Tuning的主要步驟，從安裝函式庫到模型生成。

進階 Stable Diffusion 影像生成技術

影像生成的基礎

在深入探討進階技術之前，瞭解影像生成的基礎是非常重要的。Stable Diffusion是一種根據深度學習的影像生成模型，能夠根據給定的提示生成高品質的影像。

進階技術：Dreambooth 訓練

Dreambooth是一種進階的影像生成技術，允許使用者根據自己的需求定製模型。以下是使用Dreambooth進行訓練的步驟：

  1. 準備資料：首先，需要準備好要用於訓練的資料。這包括了例項影像和對應的提示文字。
  2. 上傳影像：使用以下程式碼上傳例項影像：
for c in concepts_list:
    print(f"""Uploading instance images for `{c['instance_prompt']}`""")
    uploaded = files.upload()
  1. 移動影像：上傳完成後，需要將影像移動到指定的目錄：
for filename in uploaded.keys():
    dst_path = os.path.join(c['instance_data_dir'], filename)
    shutil.move(filename, dst_path)
  1. 開始訓練：現在，可以開始進行Dreambooth訓練了。以下是訓練的程式碼：
!python3 train_dreambooth.py \
  --pretrained_model_name_or_path=$MODEL_NAME \
  --pretrained_vae_name_or_path="stabilityai/sd-vae-ft-mse" \
  --output_dir=$OUTPUT_DIR \
  --revision="fp16" \
  --with_prior_preservation --prior_loss_weight=1.0 \
  --seed=1337 \
  --resolution=512 \
  --train_batch_size=1

注意：需要替換 $MODEL_NAME 和 $OUTPUT_DIR 為自己的模型名稱和輸出目錄。

圖表解釋

以下是使用Mermaid語法建立的流程圖，展示了Dreambooth訓練的過程：

  flowchart TD
    A[準備資料] --> B[上傳影像]
    B --> C[移動影像]
    C --> D[開始訓練]
    D --> E[輸出模型]

圖表翻譯

這個流程圖展示了Dreambooth訓練的四個步驟：準備資料、上傳影像、移動影像和開始訓練。最終，訓練完成後會輸出一個定製化的模型。

訓練模型與顯示結果

完成模型訓練後，下一步驟是定義目錄並顯示圖片網格，以視覺化方式檢視模型是否正確理解了概念，並能夠生成有用的圖片。這個過程涉及到以下幾個步驟：

  1. 定義目錄：首先，需要定義模型權重檔案的儲存目錄。這個目錄應該包含了訓練過程中產生的所有模型檔案。
  2. 排序模型檔案：使用 natsorted 函式對模型檔案進行自然排序，以確保檔案按照正確的順序被載入。
  3. 載入模型檔案：使用 glob 函式載入目錄中的所有模型檔案，並將其儲存在 WEIGHTS_DIR 變數中。
  4. 顯示圖片網格：最後，使用適當的函式（例如 matplotlib 或 seaborn）顯示一個圖片網格，以視覺化方式檢視模型生成的圖片。

程式碼實作

import os
from natsort import natsorted
from glob import glob
import matplotlib.pyplot as plt

# 定義目錄
OUTPUT_DIR = "path/to/output/directory"

# 排序模型檔案
WEIGHTS_DIR = natsorted(glob(OUTPUT_DIR + os.sep + "*.pth"))

# 載入模型檔案
model_files = [file for file in WEIGHTS_DIR]

# 顯示圖片網格
fig, axes = plt.subplots(nrows=4, ncols=4, figsize=(12, 12))
for i, file in enumerate(model_files):
    img = plt.imread(file)
    axes[i // 4, i % 4].imshow(img)
    axes[i // 4, i % 4].set_title(os.path.basename(file))
plt.show()

圖表翻譯

此圖表顯示了模型生成的圖片網格，每個圖片代表了模型在不同時間點生成的結果。透過檢視這個網格，可以直觀地檢視模型是否正確理解了概念，並能夠生成有用的圖片。每個圖片的標題是對應的模型檔案名稱，可以用於追蹤模型的訓練過程。

影像預覽網格生成

為了方便檢視不同階段的模型訓練結果，尤其是在進行DreamBooth Fine-Tuning時，生成預覽影像網格是一種非常有用的方法。這個過程涉及到讀取模型在不同訓練階段儲存的權重，並使用這些權重生成影像。下面，我們將詳細介紹如何實作這個功能。

步驟1：準備環境和資料

首先，需要確保所有必要的函式庫已經安裝，包括matplotlib，它將被用於生成影像網格。然後，定義模型權重儲存的目錄路徑WEIGHTS_DIR，這個目錄應該包含不同階段訓練的模型權重。

import os
import matplotlib.pyplot as plt
import matplotlib.image as mpimg

# 定義模型權重儲存目錄
weights_folder = OUTPUT_DIR

步驟2：取得模型權重檔案列表

接下來，需要取得模型權重檔案列表。這可以透過遍歷weights_folder目錄並過濾出不是模型權重檔案的專案來實作。假設模型權重檔案以數字命名，以下程式碼片段展示瞭如何實作：

# 取得模型權重檔案列表
folders = sorted([f for f in os.listdir(weights_folder) if f!= "0"], key=lambda x: int(x))

步驟3：計算影像網格大小

為了生成預覽影像網格，需要計算網格的大小。這可以透過取得模型權重檔案數量和每個檔案中包含的影像數量來決定。

# 計算影像網格大小
row = len(folders)
col = len(os.listdir(os.path.join(weights_folder, folders[0], "samples")))

步驟4：生成影像網格

使用matplotlib的subplots功能，可以建立一個影像網格。然後，遍歷每個模型權重檔案和其中的影像，讀取影像並顯示在對應的網格位置。

# 定義影像縮放比例
scale = 4

# 建立影像網格
fig, axes = plt.subplots(row, col, figsize=(col*scale, row*scale), gridspec_kw={'hspace': 0, 'wspace': 0})

# 遍歷模型權重檔案和影像
for i, folder in enumerate(folders):
    folder_path = os.path.join(weights_folder, folder)
    image_folder = os.path.join(folder_path, "samples")
    
    images = [f for f in os.listdir(image_folder)]
    
    for j, image in enumerate(images):
        if row == 1:
            currAxes = axes[j]
        else:
            currAxes = axes[i, j]
        
        # 設定影像標題和文字
        if i == 0:
            currAxes.set_title(f"Image {j}")
        if j == 0:
            currAxes.text(-0.1, 0.5, folder, rotation=0, va='center', ha='center')
        
        # 讀取和顯示影像
        img = mpimg.imread(os.path.join(image_folder, image))
        currAxes.imshow(img)
        currAxes.axis('off')

步驟5：顯示影像網格

最後，使用matplotlib的show功能，可以顯示生成的影像網格。

plt.show()

圖表翻譯：

上述程式碼片段展示瞭如何生成一個影像預覽網格，以便更直觀地檢視不同階段的模型訓練結果。這個過程涉及到讀取模型權重、計算網格大小、建立影像網格、遍歷模型權重檔案和影像、設定影像標題和文字、讀取和顯示影像，最後顯示生成的影像網格。這個功能對於視覺化模型訓練過程和結果非常有用。

影像轉換與Dreambooth模型訓練

在影像生成中，Stable Diffusion是一種強大的工具，可以用於建立高品質的影像。然而，當您想要生成特定主體的影像時，例如某個人的專業頭像，傳統的Stable Diffusion模型可能無法完全滿足您的需求。這就是Dreambooth模型的用途。

玄貓風格技術文章結論：影像生成技術的新篇章

綜觀當前AI影像生成領域的蓬勃發展，從Img2Img的繪畫和外繪畫功能到ControlNet的精細控制，再到SAM模型的精準分割和DreamBooth的個人化微調，技術創新正引領著影像生成進入一個全新的篇章。深入分析這些技術的核心原理和應用場景，我們可以發現，它們共同解決了影像生成過程中控制性、精確性和個人化的關鍵挑戰。ControlNet的出現，標誌著使用者對生成影像的控制能力提升到了一個新的層次，而SAM模型的開源，則極大降低了影像分割的技術門檻，使得精細化的影像編輯成為可能。DreamBooth的微調技術，則賦予了使用者定製化模型的能力，讓生成特定風格或主體的影像變得更加便捷高效。

然而，這些技術也並非完美無缺。ControlNet的應用仍需使用者具備一定的技術理解和操作經驗，SAM模型的分割精確度仍有提升空間，而DreamBooth的微調過程也需要耗費一定的計算資源和時間。此外，隨著這些技術的普及，如何平衡生成影像的品質、效率和倫理問題也將成為一個重要的議題。

展望未來，玄貓預測，影像生成技術將持續向著更高效、更精細、更智慧的方向發展。跨模態生成、更強大的控制能力、更低的應用門檻將成為未來的主要趨勢。隨著技術的成熟和生態的完善，我們有理由相信，影像生成技術將在更多領域釋放其巨大的潛力，並深刻地影響我們的創作方式和生活體驗。對於想要深入探索影像生成技術的開發者和使用者而言，持續學習和關注這些新興技術的發展至關重要。唯有如此，才能在技術浪潮中保持領先，並將技術的力量轉化為創造力和生產力。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。