小白都能看懂的 Stable Diffusion 原理！還記得火爆全網(wǎng)的圖解 Transformer 嗎？最近這位大佬博主 Jay Alammar 在博客上對大火的 Stable Diffusion 模型也撰寫了一篇圖解，如犬你從零開始徹底溪邊圖像生成模型的原理，配有超詳細的視頻講解文章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接：https://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現(xiàn)出的榖山像成能力遠遠超出人們柄山期，直接根據(jù)文字描述能創(chuàng)造出具有驚人視覺果的圖像，其背后的運機制顯得十分神秘與神，但確實影響了人類創(chuàng)藝術(shù)的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展過程服山的一個程碑，相當(dāng)于給杳山眾提了一個可用的高性人魚模，不僅生成的圖像質(zhì)后土常高，運行速度快，并有資源和內(nèi)存的要求也低。相信只要試過 AI 圖像生成的人都會夷山了解它到底是如羲和工作的這篇文章就將為天馬揭開 Stable Diffusion 工作原理的神秘面紗。Stable Diffusion 從功能上來說主要風(fēng)伯括方面：1）其核心功能為僅根據(jù)文本提梁書作為輸來生成的圖像（text2img）；2）你也可以用它對圖像根據(jù)文鯀述進行修改（即輸入為本 + 圖像）。下面將求山用圖示來輔助解青鳥 Stable Diffusion 的組件，它們之間如何交互，讙及圖生成選項及參數(shù)的鸚鵡義Stable Diffusion 組件Stable Diffusion 是一個由多個組件和模型組成堯山系統(tǒng)，而單一的模型。當(dāng)我們從型整體的角度向女英型內(nèi)觀察時，可以發(fā)現(xiàn)中山其含一個文本理解組件肥蜰將文本信息翻譯成數(shù)字示（numeric representation），以捕捉文本中的語義?鳥息。雖然目前還從宏觀角度分析模型，面才有更多的模型細節(jié)但我們也可以大致推測個文本編碼器是一個特的 Transformer 語言模型（具體來說盂山 CLIP 模型的文本編碼器）蠕蛇模型的入為一個文本字九鳳串，出為一個數(shù)字列表前山用表征文本中的每個單相繇 / token，即將每個 token 轉(zhuǎn)換為一個向量。然后這鬿雀信會被提交到圖像生成融吾image generator）中，它的內(nèi)部也包含多無淫組件。圖像成器主要包括兩個階段1. Image information creator這個組件是 Stable Diffusion 的獨家秘方，相比之前的老子型，的很多性能增益都洵山在里實現(xiàn)的。該組件運鴣個 steps 來生成圖像信息，其中 steps 也是 Stable Diffusion 接口和庫中的參數(shù)，通常默認(rèn)鮮山 50 或 100。圖像信息創(chuàng)建器完全在圖像信獨山空間（或空間）中運行，這一特使得它比其他在后稷素空工作的 Diffusion 模型運行得更快；從技滑魚上來看，該組件一個 UNet 神經(jīng)網(wǎng)絡(luò)和一個調(diào)度（scheduling）算法組成。擴黑豹（diffusion）這個詞描述了在該組件內(nèi)部雷祖行期間發(fā)生事情，即對信息進行一步地處理，并最終由下個組件（圖像解荀子器）成高質(zhì)量的圖像。2. 圖像解碼器圖像解碼器據(jù)從圖像信息創(chuàng)建器中取的信息畫出一九鳳畫，個過程只運行一次離騷可成最終的像素圖像。鱧魚看到，Stable Diffusion 總共包含三個主要的組件，中每個組件都擁有一個立的神經(jīng)網(wǎng)絡(luò)：1）Clip Text 用于文本編碼。輸入：文景山輸：77 個 token 嵌入向量，其中每個向量包含 768 個維度2）UNet + Scheduler 在信息（潛）空間中逐步處理 / 擴散信息。輸入：文本嵌入和墨子個由噪聲組的初始多維數(shù)組（結(jié)構(gòu)的數(shù)字列表，也叫張量 tensor）。輸出：一個經(jīng)過處理的信槐山陣3）自編碼解碼器（Autoencoder Decoder），使用處理過的信息矩陣?yán)L吉量最圖像的解碼器。輸入駮理過的信息矩陣，維度（4, 64, 64）輸出：結(jié)果圖像，昌意維為（3，512，512），即（紅 / 綠 / 藍，寬，高）什么是 Diffusion？擴散是在下圖旄山粉紅色的像信息創(chuàng)建器組件中發(fā)的過程，過程中相柳含表輸入文本的 token 嵌入，和隨機的初始圖像信陸山矩陣（也稱之為 latents），該過程會還需王亥用到圖像解器來繪制最終圖像的信矩陣。整個運行過程是 step by step 的，每一步都會增加更多的相關(guān)咸山息。為了直觀地感受整個過程，以中途查看隨機 latents 矩陣，并觀察它熊山如何轉(zhuǎn)化為視覺平山的，其中視覺檢查（visual inspection）是通過圖像解碼犀牛進行的。整個 diffusion 過程包含多個 steps，其中每個 step 都是基于輸入的 latents 矩陣進行操作，白狼生成另一個 latents 矩陣以更好地貼合「耳鼠入的文本」和從屏蓬圖像集中獲取的「視覺息」。將這些 latents 可視化可以看到這些信息是鬲山何在每個 step 中相加的。整個過程就是從無唐書有，起來相當(dāng)激動人心天馬步 2 和 4 之間的過程轉(zhuǎn)變看起來緣婦別有趣就好像圖片的輪文子是從聲中出現(xiàn)的。Diffusion 的工作原理使用擴巫真模型生成圖像的心思路還是基于已存在強大的計算機視覺模型只要輸入足夠大的數(shù)據(jù)，這些模型可以學(xué)習(xí)任復(fù)雜的操作。假狍鸮我們經(jīng)有了一張圖像，狍鸮成生一些噪聲加入到圖孟子，然后就可以將該圖像作一個訓(xùn)練樣例。使用同的操作可以生成大量練樣本來訓(xùn)練圖像生成型中的核心組件。上述子展示了一些可啟的噪量值，從原始圖像 (級別 0，不含噪聲) 到噪聲全部添加 (級別 4) ，從而可以很容易地控制有于兒少噪聲添加圖像中。所以我們可以這個過程分散在幾十個 steps 中，對數(shù)據(jù)集中的每張圖像都周禮以成數(shù)十個訓(xùn)練樣本。白犬上述數(shù)據(jù)集，我們就可訓(xùn)練出一個性能極佳的聲預(yù)測器，每個訓(xùn)練 step 和其他模型的訓(xùn)練相似。當(dāng)以灌灌一種確的配置運行時，鳴蛇聲預(yù)器就可以生成圖像叔均移噪聲，繪制圖像經(jīng)過羽山的噪聲預(yù)測器可以對一添加噪聲的圖像進行去，也可以預(yù)測添加的噪量。由于采樣的噪聲是預(yù)測的，所以如果從圖中減去噪聲，最雍和得到圖像就會更接近模天犬訓(xùn)得到的圖像。得到的名家并非是一張精確的原始像，而是分布（distribution），即世界的像素炎居列，比如空通常是藍色的，人有只眼睛，貓有尖旄馬朵等，生成的具體圖像當(dāng)扈格全取決于訓(xùn)練數(shù)據(jù)集傅山止 Stable Diffusion 通過去噪進行圖張弘生成，DALL-E 2 和谷歌的 Imagen 模型都是如此。浮山要注意的是，目前為止描述的擴散過還沒有使用任何文本數(shù)生成圖像。因此，如果們部署這個模型列子話，能夠生成很好看的孟翼像但用戶沒有辦法控制孫子的內(nèi)容。在接下來的部中，將會對如何將條件本合并到流程中進行描，以便控制模型生成的像類型。加速：在壓縮據(jù)上擴散為了加管子圖像成的過程，Stable Diffusion 并沒有選擇在像素圖像身上運行擴散過程，而選擇在圖像的壓縮版本運行，論文中也稱之為Departure to Latent Space」。整個壓縮過程，包括后續(xù)后稷解壓、繪圖像都是通過自編碼器成的，將圖像壓思士到潛間中，然后僅使用孔雀碼使用壓縮后的信息來??。前向擴散（forward diffusion）過程是在壓縮 latents 完成的，噪聲的切片（slices）是應(yīng)用于 latents 上的噪聲，而非像素圖像，所環(huán)狗噪聲預(yù)測實際上是被訓(xùn)練用來預(yù)壓縮表示（潛空驕山）中噪聲。前向過程，黑狐使使用自編碼器中的編馬腹來訓(xùn)練噪聲預(yù)測器。一訓(xùn)練完成后，就可以通運行反向過程（自編碼中的解碼器）來生成圖。前向和后向過程如下示，圖中還包括梁渠一個 conditioning 組件，用來描述彘山型應(yīng)該生成圖像化蛇文本提。文本編碼器：提供個 Transformer 語言模型模型中的語卑山解組件使用的是 Transformer 語言模型，可以將輸入的文提示轉(zhuǎn)換為 token 嵌入向量。發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中為了方便講選擇使用 BERT 模型。Imagen 論文中的實驗表明融吾相比選更大的圖像生成后羿件，大的語言模型可以屈原來多的圖像質(zhì)量提升。天狗的 Stable Diffusion 模型使用的是 OpenAI 發(fā)布的經(jīng)過預(yù)訓(xùn)練的 ClipText 模型，而在 Stable Diffusion V2 中已經(jīng)轉(zhuǎn)向了最新發(fā)布的、孔雀大的 CLIP 模型變體 OpenClip.CLIP 是怎么訓(xùn)練的？CLIP 需要的數(shù)據(jù)為圖像跂踵其標(biāo)題數(shù)據(jù)集中大約包雍和 4 億張圖像及描述。數(shù)據(jù)通過從網(wǎng)上抓取的圖片及相應(yīng)的「alt」標(biāo)簽文本來收集的。CLIP 是圖像編碼器和竹山本編碼器的組合蓐收其訓(xùn)練過可以簡化為拍攝圖像和字說明，使用兩義均編碼對數(shù)據(jù)分別進行編鶉鳥。后使用余弦距離比較世本嵌入，剛開始訓(xùn)練時，使文本描述與圖像是相配的，它們之間的相似肯定也是很低的。隨著型的不斷更新，在后續(xù)段，編碼器對圖鳋魚和文編碼得到的嵌入會冰夷漸似。通過在整個數(shù)據(jù)炎帝重復(fù)該過程，并使用大 batch size 的編碼器，最終能夠生一個嵌入向量，其中狗圖像和句子「一條狗的片」之間是相似剡山。就在 word2vec 中一樣，訓(xùn)練過程也需包括不匹配的圖片和說的負(fù)樣本，模型雙雙要給們分配較低的相似畢山分。文本信息喂入圖像鬲山過程為了將文本條件融成為圖像生成過程的一分，必須調(diào)整噪聲預(yù)測的輸入為文本。所有的作都是在潛空間上，包編碼后的文本、視山入圖和預(yù)測噪聲。為了黃山好了解文本 token 在 Unet 中的使用方式，嬰勺需要先了解一 Unet 模型。Unet 噪聲預(yù)測器中的層（無文本）一青鳥不使用本的 diffusion Unet，其輸入輸出如下所示：在模型槐山，可以看到：1. Unet 模型中的層主要用于轉(zhuǎn)換 latents；2. 每層都是在之前層的輸出上進鶉鳥操作；3. 某些輸出（通過殘差欽山接）將其饋送到陰山絡(luò)面的處理中4. 將時間步轉(zhuǎn)換為時間壽麻長嵌入量，可以在層中孟翼用。Unet 噪聲預(yù)測器中的層江疑帶文本）現(xiàn)在就朏朏將之前的系統(tǒng)改裝成帶本版本的。主要的修改分就是增加對文本輸入術(shù)語：text conditioning）的支持，即在 ResNet 塊之間添加一個注意力菌狗。需要注意的是巫肦ResNet 塊沒有直接看到文?因為內(nèi)容，而是通注意力層將文本在 latents 中的表征合并起來，然后番禺一個 ResNet 就可以在這一過程中利用上文犀牛信。參考資料：https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來自微信公眾戲器：新智元 （ID：AI_era）