Stable Diffusion 微調 DreamBooth LoRA 技術詳解與實戰

– 15 分鐘閱讀

DreamBooth 和 LoRA 是 Stable Diffusion 微調的兩種常用技術，能有效提升模型生成特定物件或風格影像的能力。DreamBooth 使用少量樣本訓練，並透過先驗儲存損失維持模型原有知識；LoRA 則著重於降低模型大小和訓練成本，適用於資源有限的場景。兩種技術都能與影像修復和強化等進階應用結合，打造更強大的影像生成模型。實務上，常使用 LoRA 訓練 DreamBooth 模型，以兼顧模型效能和訓練效率。選擇合適的微調方法和引陣列態，例如學習率、訓練迭代次數、批次大小等，將直接影響最終生成影像的品質。同時，應注意訓練資料的品質和多樣性，避免模型產生偏差或過擬合。

10. --validation_prompts：驗證提示

指定用於驗證模型效能的提示文字。在這個例子中，提供了兩個與太空和星雲相關的提示。

11. --validation_epochs 5：驗證epoch數

設定了在多少個epoch後進行驗證。這有助於監控模型在訓練過程中的效能變化。

12. --learning_rate=1e-05：學習率

學習率決定了模型在每次迭代中更新權重的步長。設為1e-05是一個相對較小的學習率，可能有助於模型的收斂，但也可能減慢收斂速度。

13. --output_dir="sd-hubble-model"：輸出目錄

指定了模型檢查點和最終訓練模型將被儲存的目錄。

14. --push_to_hub：推播到Hub

啟用此選項後，訓練完成的模型將被推播到Hugging Face Hub，以便於分享和使用。

瞭解和調整這些超引數對於取得最佳的微調效果至關重要。不同的資料集和任務可能需要不同的超引數設定，因此實驗和觀察結果以找到最適合您特定需求的設定是非常重要的。

深度學習模型的微調

在深度學習中，模型的微調是一個非常重要的步驟。透過微調，可以使模型更好地適應特定的任務和資料。下面，我們將討論一些與模型微調相關的重要引數和概念。

學習率（learning_rate）

學習率是模型微調中一個非常重要的引數。它控制了模型在每次迭代中更新權重的速度。如果學習率太高，模型可能會不穩定；如果學習率太低，模型可能會欠擬合。通常，學習率的範圍是從 0.0001 到 0.000001。

訓練迭代次數（num_train_epochs）

訓練迭代次數控制了模型對整個資料集的迭代次數。模型可能需要多次迭代才能學習到資料中的模式。

指數移動平均（use_ema）

指數移動平均是一種用於穩定模型訓練的技術。它可以幫助模型在多個迭代中保持穩定。

混合精確度訓練（mixed_precision）

混合精確度訓練可以加速模型的訓練速度和減少VRAM的使用。透過將非可訓練權重轉換為半精確度，模型可以更快地完成訓練。

影像解析度（resolution）

影像解析度控制了模型訓練中使用的影像大小。影像會根據指定的引數進行裁剪和翻轉，以增加模型的泛化能力。

批次大小（train_batch_size）

批次大小控制了模型在每次迭代中處理的樣本數量。批次大小越大，VRAM的需求越大，但訓練時間越短。

梯度檢查點（gradient_checkpointing）和梯度累積步數（gradient_accumulation_steps）

梯度檢查點和梯度累積步數可以幫助使用者在有限的VRAM條件下進行模型訓練。透過這些技術，模型可以使用更大的批次大小和更少的VRAM。

8位Adam最佳化器（use_8bit_adam）

8位Adam最佳化器可以減少GPU記憶體的使用，並加速模型的訓練速度。然而，它可能會降低梯度累積的精確度。

檢查點步數（checkpointing_steps）

檢查點步數控制了模型在多少步之後儲存一次檢查點。這對於長時間的訓練過程非常有用，可以幫助使用者找到最佳的模型。

驗證提示（validation_prompts）

驗證提示可以幫助使用者在訓練過程中評估模型的效能。透過在指定的epoch之後生成影像，使用者可以直觀地評估模型的學習情況。

輸出目錄（output_dir）

輸出目錄是模型儲存的位置。

推播到Hub（push_to_hub）

推播到Hub可以將模型推播到Hugging Face Hub，方便使用者分享和使用模型。

推理

一旦模型微調完成，就可以使用它進行推理。透過載入微調好的模型，使用者可以生成新的影像。以下是一個示例程式碼：

import torch
from diffusers import StableDiffusionPipeline

# 載入微調好的模型
model_id = "Super-maxman/hubble-diffusion-1"
pipe = StableDiffusionPipeline.from_pretrained(model_id)

# 生成影像
prompt = "一隻貓坐在月亮上"
image = pipe(prompt).images[0]

# 顯示影像
image.save("generated_image.png")

這段程式碼載入了微調好的模型，並使用它生成了一張貓坐在月亮上的影像。

Stable Diffusion 的 DreamBooth 技術

Stable Diffusion 是一種強大的文字到影像的生成模型，透過 DreamBooth 技術，可以對其進行微調和自定義。DreamBooth 的出現是為瞭解決全模型微調的侷限性，例如需要大量的訓練資料和容易出現災難性遺忘（catastrophic forgetting）的問題。

DreamBooth 的工作原理

DreamBooth 透過使用一個稱為先驗儲存損失（prior preservation loss）的方法，來儲存模型之前的知識。這個方法允許模型在微調的過程中，保留其原有的知識和能力。同時，DreamBooth 還使用了一種稱為唯一令牌（unique token）的技術，來將新的概念或物件加入到模型中。

DreamBooth 的優點

  1. 自定義: DreamBooth 可以對 Stable Diffusion 進行微調和自定義，使其能夠生成特定的影像或風格。
  2. 少量資料: DreamBooth 只需要少量的訓練資料（通常是 3-5 個例子），就可以對模型進行有效的微調。
  3. 快速訓練: 由於只需要少量的資料，DreamBooth 的訓練速度相對較快。
  4. 保持知識: DreamBooth 可以保留模型之前的知識和能力，避免災難性遺忘的問題。

DreamBooth 的應用

DreamBooth 可以用於各種應用場景，例如：

  1. 影像生成: DreamBooth 可以用於生成特定的影像或風格。
  2. 風格轉換: DreamBooth 可以用於將一張影像轉換成另一個風格。
  3. 物件檢測: DreamBooth 可以用於檢測特定的物件或概念。

訓練 DreamBooth 模型

要訓練一個 DreamBooth 模型，需要準備以下資料：

  1. 訓練影像: 需要準備 3-5 個訓練影像，用於微調模型。
  2. 類別影像: 需要準備類別影像，用於先驗儲存損失。
  3. 令牌: 需要定義一個唯一令牌，用於將新的概念或物件加入到模型中。

然後，可以使用以下步驟來訓練模型：

  1. 載入模型: 載入預先訓練好的 Stable Diffusion 模型。
  2. 定義令牌: 定義一個唯一令牌，用於將新的概念或物件加入到模型中。
  3. 準備資料: 準備訓練影像和類別影像。
  4. 微調模型: 對模型進行微調，使用先驗儲存損失和唯一令牌。

進階 Stable Diffusion 訓練：DreamBooth

什麼是 DreamBooth？

DreamBooth 是一個進階的 Stable Diffusion 訓練方法，允許使用者對模型進行微調，以生成特定類別的影像。這個方法可以用於生成高品質的影像，同時也可以用於學習新的概念和物件。

DreamBooth 引數

以下是 DreamBooth 中的一些重要引數：

  • instance_prompt：用於描述要學習的概念的提示。例如，「一張 plstps 的照片」。
  • train_text_encoder：是否要訓練文字編碼器。這可以產生良好的結果，但需要更多的 VRAM。
  • with_prior_preservation：是否要使用先前儲存損失。
  • class_prompt 或 class_data_dir：用於生成類別影像的提示或資料夾路徑。
  • prior_loss_weight：控制先前儲存損失對模型的影響。

訓練 DreamBooth 模型

要訓練一個 DreamBooth 模型，可以使用 train_dreambooth.py 指令碼。以下是一個範例命令：

accelerate launch train_dreambooth.py \
  --pretrained_model_name_or_path="stable-diffusion-v1-5/stable-diffusion-v1-5" \
  --instance_data_dir="my-pictures" \
  --instance_prompt="a photo of plstps" \
  --resolution=512 \
  --train_batch_size=1 \
  --with_prior_preservation \
  --class_prompt="an ultra realistic portrait of a man"

這個命令會訓練一個 DreamBooth 模型，使用預訓練的 Stable Diffusion 模型，生成高解析度的影像，並使用先前儲存損失。

內容解密：

上述命令中，--pretrained_model_name_or_path 引數指定了預訓練的 Stable Diffusion 模型，--instance_data_dir 引數指定了例項影像的資料夾路徑，--instance_prompt 引數指定了例項提示，--resolution 引數指定了生成影像的解析度，--train_batch_size 引數指定了訓練批次大小，--with_prior_preservation 引數啟用了先前儲存損失，--class_prompt 引數指定了類別提示。

圖表翻譯：

  flowchart TD
    A[開始] --> B[載入預訓練模型]
    B --> C[載入例項影像]
    C --> D[設定例項提示]
    D --> E[設定解析度]
    E --> F[設定訓練批次大小]
    F --> G[啟用先前儲存損失]
    G --> H[設定類別提示]
    H --> I[訓練 DreamBooth 模型]
    I --> J[生成高品質影像]

此圖表描述了 DreamBooth 訓練過程，從載入預訓練模型到生成高品質影像。每一步驟都對應到上述命令中的引數設定。

進階 Stable Diffusion 模型微調

Stable Diffusion 模型是一種強大的生成式模型，能夠根據輸入的文字提示生成高品質的影像。然而，預訓練的模型可能不能完全滿足特定的需求，因此需要對模型進行微調。微調的過程涉及調整模型的引數以適應新的任務或資料集。

DreamBooth 微調

DreamBooth是一種特殊的微調方法，允許使用者根據特定的例項（例如，一張圖片）對模型進行微調。這種方法可以學習到例項的特徵並生成新的影像。以下是DreamBooth微調的基本步驟：

  1. 定義例項提示：定義一個唯一的token，例如plstps，用於模型學習例項的概念。
  2. 設定訓練引數：設定訓練引數，例如學習率、訓練epoch數等。
  3. 載入預訓練模型：載入預訓練的Stable Diffusion模型。
  4. 進行微調：使用定義的例項提示和設定的訓練引數對模型進行微調。

LoRA 訓練

LoRA（Low-Rank Adaptation）是一種用於微調大型模型的方法，能夠減少需要訓練的引數數量。LoRA可以用於Stable Diffusion模型的微調，從而減少模型的大小和加速推理速度。

以下是LoRA訓練的基本步驟：

  1. 載入預訓練模型：載入預訓練的Stable Diffusion模型。
  2. 定義LoRA組態：定義LoRA的組態，例如rank、學習率等。
  3. 進行LoRA訓練：使用定義的LoRA組態對模型進行LoRA訓練。
  4. 載入LoRA權重：載入訓練好的LoRA權重到模型中。

推理

在完成微調或LoRA訓練後，可以使用模型生成新的影像。以下是基本的推理步驟：

  1. 載入微調模型：載入微調好的Stable Diffusion模型。
  2. 定義輸入提示：定義輸入提示，例如一段文字。
  3. 生成影像：使用模型生成影像。

進一步擴充套件Stable Diffusion的能力

Stable Diffusion是一種強大的影像生成模型，透過微調可以學習新的風格或主題。但是，如果我們可以透過微調給Stable Diffusion更多的能力呢？透過玄貓的方法，我們可以為模型提供修復（inpainting）或包含額外的條件的能力。

修復（Inpainting）

修復是指在影像中填充缺失的部分，以還原影像的完整性。這項技術在影像編輯和修復中非常重要。透過微調Stable Diffusion，我們可以教導模型如何進行修復。

# 載入基礎模型
pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
)
pipe = pipe.to(device)

# 載入LoRA權重
pipe.load_lora_weights("alvdansen/littletinies")

# 合併LoRA與基礎模型
pipe.fuse_lora()

# 定義修復任務
def inpainting(prompt, mask):
    # 生成影像
    image = pipe(prompt, num_inference_steps=25, guidance_scale=7.5).images[0]
    
    # 對影像進行修復
    repaired_image = pipe(image, mask=mask, num_inference_steps=25, guidance_scale=7.5).images[0]
    
    return repaired_image

# 測試修復功能
prompt = "一隻駱駝正在喝珍珠奶茶"
mask = "駱駝的眼睛"
repaired_image = inpainting(prompt, mask)

# 顯示修復後的影像
repaired_image

###額外的條件（Additional Conditionings） 除了修復之外，我們還可以透過微調給Stable Diffusion額外的條件。例如，我們可以教導模型如何根據特定的風格或主題生成影像。

# 定義額外條件的任務
def additional_conditionings(prompt, style):
    # 生成影像
    image = pipe(prompt, num_inference_steps=25, guidance_scale=7.5).images[0]
    
    # 對影像進行風格轉換
    styled_image = pipe(image, style=style, num_inference_steps=25, guidance_scale=7.5).images[0]
    
    return styled_image

# 測試額外條件功能
prompt = "一隻駱駝正在喝珍珠奶茶"
style = "卡通風格"
styled_image = additional_conditionings(prompt, style)

# 顯示風格轉換後的影像
styled_image
圖表翻譯：
  graph LR
    A[基礎模型] -->|微調|> B[LoRA權重]
    B -->|合併|> C[Stable Diffusion]
    C -->|生成影像|> D[修復]
    D -->|風格轉換|> E[最終影像]

內容解密：

上述程式碼展示瞭如何使用Stable Diffusion進行修復和額外條件的生成。首先，我們載入基礎模型和LoRA權重，然後合併它們以得到最終的Stable Diffusion模型。接著，我們定義修復和額外條件的任務，分別使用inpainting和additional_conditionings函式。最後，我們測試這些功能並顯示生成的影像。

影像修復技術（Inpainting）

影像修復是一種技術，涉及遮罩影像中的特定區域，以便用其他東西替換它。這種技術與影像到影像轉換相似，但不同之處在於，只有遮罩區域增加了噪聲：模型只對該區域進行去噪，旨在更改或刪除影像中的該物體，而保持影像的其他部分不變。

對於預先訓練的文字到影像的擴散模型，可以透過新增額外的輸入通道來實作影像修復功能。例如，Stable Diffusion v1 模型透過新增約 400K 步驟實作了影像修復功能，其中四個步驟用於編碼遮罩影像，另一個步驟用於遮罩本身。在訓練過程中，會生成合成遮罩，25% 的影像會被遮罩。由於您具有影像背後的真實資料，因此模型可以根據提示學習如何填充遮罩區域，從而成為一個強大的影像編輯工具。

進階模型和影像修復

更先進的模型，如 Stable Diffusion XL，一些影像修復功能已經內建，不需要額外調整。但是，針對特定任務進行微調仍然可以改善這些功能。雖然這些技術需要大量計算資源，但微調後的模型可以供所有人使用。

其他條件下的額外輸入

除了影像修復外，還可以新增其他條件來控制模型的輸出。例如，Stable Diffusion 2 Depth 模型增加了一個額外的輸入通道，用於處理使用者提示和包含單眼深度預測的影像。這種方法可以用於生成具有特定深度效果的影像。

專案時間：訓練 SDXL DreamBooth LoRA 模型

在本專案中，您將學習如何使用少量示例影像和 LoRA 訓練一個 DreamBooth 模型。DreamBooth 允許使用少量示例進行微調，而 LoRA 訓練可以減少模型大小和 GPU 使用量。您的目標是使 Stable Diffusion 模型能夠生成具有新物體或風格的影像。

練習題

  1. 解釋完整模型微調和 DreamBooth 之間的主要差異。
  2. 使用 LoRA 與完整模型微調相比的優點是什麼？
  3. 在 DreamBooth 訓練中，為什麼使用唯一標記很重要？
  4. 除了教導新概念外，微調還可以為模型新增新能力。請舉出兩個可以透過微調學習到的能力。
  5. 討論超引數選擇如何影響微調擴散模型的結果。
  6. 描述在偏見資料集上微調文字到影像模型的潛在風險。

挑戰

LoRA 與完整微調比較。訓練一個使用 LoRA 和完整微調的 DreamBooth 模型，並比較結果。嘗試修改 LoRA 的 rank 超引數，以檢視它如何影響結果。

影像到影像轉換：Stable Diffusion 的創新應用

在前幾章中，我們探討瞭如何使用文字提示來生成影像。然而，Stable Diffusion 還有一個更為強大的功能：影像到影像轉換（Image-to-Image）。這個功能允許我們從一個已經存在的影像開始，新增一些噪聲，然後使用模型對其進行修改。這個過程被稱為影像到影像轉換，因為它可以根據噪聲水平和文字提示將一個影像轉換成另一個影像。

使用 Diffusers 函式庫載入影像到影像管道

要使用影像到影像轉換功能，我們需要載入 StableDiffusionXLImg2ImgPipeline 類別。這個類別與我們之前使用的 StableDiffusionXLPipeline 類別不同，它可以接受一個初始影像和一個文字提示作為輸入。

import torch
from diffusers import StableDiffusionXLImg2ImgPipeline

# 載入管道
device = get_device()
img2img_pipeline = StableDiffusionXLImg2ImgPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    torch_dtype=torch.float16,
    variant="fp16",
)

移動管道到裝置

接下來，我們需要將管道移動到裝置（通常是 GPU）上。如果您的 GPU 記憶體不足，您可以使用 img2img_pipeline.enable_model_cpu_offload() 方法將子模組移到 CPU 上，這樣可以減少 GPU 記憶體的使用，但會增加推理時間。

# 移動管道到裝置
img2img_pipeline.to(device)

執行影像到影像轉換

現在，我們可以使用管道進行影像到影像轉換了。以下是一個例子：

# 載入初始影像
url = SampleURL.ToyAstronauts
init_image = load_image(url)

# 定義文字提示
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"

# 進行影像到影像轉換
image = img2img_pipeline(prompt, image=init_image, strength=0.5).images[0]

# 顯示結果
image_grid([init_image, image], rows=1, cols=2)

在這個例子中，我們載入了一個初始影像，定義了一個文字提示，然後使用 StableDiffusionXLImg2ImgPipeline 對其進行修改。結果是一個新的影像，它根據文字提示和噪聲水平對初始影像進行了轉換。

內容解密：

  • StableDiffusionXLImg2ImgPipeline 類別是用於影像到影像轉換的管道。
  • from_pretrained 方法用於載入預訓練模型。
  • to 方法用於將管道移動到裝置上。
  • enable_model_cpu_offload 方法用於將子模組移到 CPU 上。
  • img2img_pipeline 方法用於進行影像到影像轉換。
  • strength 引數用於控制轉換的強度。

圖表翻譯：

  flowchart TD
    A[載入初始影像] --> B[定義文字提示]
    B --> C[進行影像到影像轉換]
    C --> D[顯示結果]

這個流程圖展示了影像到影像轉換的過程。首先，我們載入了一個初始影像，然後定義了一個文字提示。接下來，我們使用 StableDiffusionXLImg2ImgPipeline 對初始影像進行修改，最後顯示結果。

影像修復與強化：根據文字的影像模型

影像修復是一種根據文字的影像模型，能夠根據周圍環境填充缺失的影像部分。這種技術可以使用預先訓練好的模型，也可以對模型進行微調以提高其填充能力。

技術文章結論：進階 Stable Diffusion 訓練與應用

縱觀當前 AI 生成影像領域的蓬勃發展，Stable Diffusion 以其開源特性和強大的生成能力，已成為不可忽視的中堅力量。本文深入探討了 Stable Diffusion 的進階訓練技巧，包含 DreamBooth 和 LoRA 等前沿技術，並分析了其在影像修復、風格轉換等領域的應用潛力。

DreamBooth 技術的引入，有效解決了以往全模型微調的資料需求大和災難性遺忘等問題。其少量資料訓練和先驗知識儲存機制，顯著降低了模型定製的門檻，讓個人化影像生成變得觸手可及。LoRA 技術則從另一個維度提升了模型訓練效率，透過低秩適配，在有限資源下也能實作高效微調，極大拓展了 Stable Diffusion 的應用場景。此外，影像到影像轉換功能的強化，更進一步提升了 Stable Diffusion 的影像編輯和創作能力，使其在影像修復、風格遷移等任務中表現出色。

然而，這些進階技術並非完美無缺。DreamBooth 訓練仍需仔細調整超引數，避免過擬合或欠擬合。LoRA 訓練雖然高效，但在某些複雜任務中，其生成品質仍有提升空間。此外，模型的訓練資料偏差也可能導致生成的影像存在倫理風險，這需要社群共同關注和努力解決。

玄貓認為，Stable Diffusion 將聚焦於更精細的控制能力、更豐富的生成內容以及更低的計算資源消耗。隨著技術的持續迭代和社群的共同努力，Stable Diffusion 將在藝術創作、設計領域、教育等領域發揮更大的作用，並進一步推動 AI 生成影像技術的革新。對於追求高品質、個人化影像生成的創作者和開發者而言，深入理解並掌握這些進階技術至關重要。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。