目錄
## 介紹
人工智慧生成圖像的世界正在迅速演變，新的模型和技術正在推動創造力和精確度的邊界。在這些創新中，ControlNet 作為一個突破性的工具出現，使得在文本到圖像生成的創作過程中能夠獲得更大的控制權。這種創新的神經網絡技術為創建視覺內容提供了前所未有的控制和精確度，持續縮小文本描述與高度定制圖像之間的差距。
## 什麼是 ControlNet?
ControlNet 是一種神經網絡模型，旨在完善和指導文本到圖像人工智慧系統的創作過程，如穩定擴散。它代表了生成式人工智慧的一個重要進步，為用戶提供了對圖像生成過程的細緻控制。與僅根據文本提示生成圖像的傳統文本到圖像模型不同，ControlNet 現在允許通過附加的輸入條件對視覺元素進行複雜的操控。
## 技術架構和功能
ControlNet 的核心創新在於其能夠保持擴散模型的創作能力，同時引入精確的空間控制。通過整合附加的條件輸入，如邊緣圖、深度圖、分割掩碼或姿勢估計，該技術使得用戶能夠以驚人的準確性指導圖像生成過程。
在其核心，ControlNet 利用一種獨特的神經網絡架構，與現有的擴散模型（如穩定擴散）協同工作。該系統的運作方式是：
* 1. 接受多類型的條件輸入，並結合文本提示
* 2. 保持原始模型的生成能力
* 3. 在不進行大量重新訓練的情況下引入細緻的控制機制
對於那些尋求實際了解 ControlNet 實施的人來說，視頻教程 "ControlNet穩定擴散教程（8分鐘內）" 提供了一個全面的指南，用於使用 ControlNet，這是一個通過應用多種參考圖像來創建控制圖的擴展，以增強圖像生成控制，如姿勢和深度。該簡潔的教程專為有興趣在穩定擴散框架內探索 ControlNet 的人設計，提供了自動1111版本1.6的安裝程序的全面概述，包括從 [Hugging Face](https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main) 下載必要模型，及一些與用戶界面有關的基礎知識，用於啟用控制單元和操作參考圖像。這個視頻對於希望深入了解 ControlNet 功能的設計師和人工智慧研究人員來說，都是一個很好的起點。
## ControlNet 的主要特徵
* **靈活的輸入**
* 接受各種輸入格式：邊緣圖、深度圖、分割圖、人類姿勢等等。
* 支持部分輸入，這意味著用戶可以提供最小的指導，仍然能夠看到顯著的結果。
* **保留藝術自由**
* 雖然 ControlNet 遵循提供的輸入，但它為人工智慧的固有創造力留有空間，將用戶的意圖與模型的解釋能力融合在一起。
* **改善一致性**
* 通過更緊密地遵循用戶提供的數據來解決文本到圖像模型中經常看到的不一致性，使其對於精確設計變得不可或缺。
* **兼容性**
* 與流行的擴散模型（如穩定擴散）兼容，並可以輕鬆集成到現有工作流程中。
## ControlNet 能力的實用演示
### 邊緣檢測控制
邊緣檢測代表了一種通過結構精確度指導圖像生成的基本方法。通過這種方法，ControlNet 使用詳細的邊緣圖作為條件輸入，使得用戶能夠在生成開始之前定義圖像的精確結構輪廓。
這張圖片展示了 ControlNet 在穩定擴散中使用 Canny 邊緣條件的威力。這一過程從一張輸入圖像開始，該圖像可以是照片或任何視覺參考。這張圖像將作為創建結構準確的輸出的基礎。下一步涉及邊緣檢測，這可以通過如 Canny 邊緣檢測器這樣的技術來實現。該方法從輸入圖像中提取出關鍵的結構輪廓，專注於定義主體的輪廓和姿勢。生成的邊緣圖是一個簡化的基於線條的原始圖像版本，為生成過程提供了重要的指導。
配合邊緣圖，用戶提供的文本提示指定了其他細節，如主體的外觀、環境和整體風格。文本輸入可以為邊緣圖提供的結構指導添加一些上下文和風格層。這些輸入然後由集成了 ControlNet 的穩定擴散進行處理。ControlNet 確保生成的圖像忠於邊緣圖的結構，同時融入提示的創意細節。最終結果將是一個高度真實的輸出，保留原有姿勢和比例，但變更上下文和風格以符合用戶描述。
### 人類姿勢檢測和生成
人類姿勢檢測提供了更細緻的圖像控制形式。ControlNet 能夠準確地解釋和複製複雜的人體姿勢，這使得它對於從動畫到時尚設計的各個領域都不可或缺。
這張圖片展示了使用 OpenPose 的 ControlNet 工作流程，這是一種將結構精確與創造性自由結合的突破性方法。這個過程同樣以一張輸入圖像開始，該圖像作為視覺參考。下一步利用 OpenPose 關鍵點檢測，該技術分析輸入圖像，提取出表示關鍵身體位置的關鍵點。這些關鍵點對應於諸如頭部、手臂、軀幹和腿的部分，形成主體的骨架輪廓。這種骨架結構，被稱為控制圖，編碼了主體的姿勢和動作，同時去除了不必要的視覺細節。它作為結構指導，確保生成的輸出保留原有姿勢。
在此同時，文本提示為生成過程添加了上下文和風格細節。控制圖和文本提示都被輸入到集成了 ControlNet 的穩定擴散中。這兩個輸入的整合使得人工智慧能夠在結構準確性和藝術自由之間保持平衡。控制圖確保生成的圖像遵循輸入的關鍵點和身體比例，而文本提示則決定了更細微的細節，例如角色的特徵、服裝和背景。
以上所有工作流程都突顯了 ControlNet 在穩定擴散中的多功能性，使其成為角色設計、動畫和重現藝術中特定姿勢等應用的強大工具。此外，ControlNet 也可以應用於深度圖條件控制，這使得對三維空間關係的控制成為可能，或者分割掩碼控制，以提供對特定圖像區域的細緻控制。通過無縫整合結構指導和創意輸入，ControlNet 總是使用户能夠獲得精確且視覺驚豔的結果。
## 更多學習資源
要更深入了解 ControlNet 並實驗其能力，請查看以下資源：
* **[ControlNet GitHub 倉庫](https://github.com/lllyasviel/ControlNet)**：探索技術詳情並訪問開源代碼。
* **[Runway ML](https://www.runwayml.com/)**：在這個使用者友好的創意平台上試驗 ControlNet。
* **[Hugging Face](https://huggingface.co/docs/diffusers/en/using-diffusers/controlnet)**：了解 ControlNet 和各種人工智慧工具，並查找預訓練的 ControlNet 模型。
* **[穩定擴散](https://stability.ai/)**：發現 ControlNet 輝煌的生態系統。
## 結論
ControlNet 站在生成式人工智慧轉型變革的最前沿，提供了前所未有的圖像生成控制和創造力。通過提供複雜的條件機制，這項技術賦予了各個領域的創作者以驚人的精確度實現他們最精緻的視覺概念。
隨著人工智慧創造力成為主流，像 ControlNet 這樣的工具將在民主化設計中扮演關鍵角色。用戶輸入與人工智慧的生成能力相結合，確保了一種平衡的方式，使得精確和創造力共生。隨著進一步的發展，ControlNet 可以與其他模式（如視頻生成或三維建模）集成，進一步擴展其影響力。
請持續關注，然後探索 ControlNet 的可能性，開啟創意的新層次!!!
