ChatGPT 的出現，徹底將生成 AI 推向爆發(fā)。但論衡忘了，AI 生成模型可不止 ChatGPT 一個，光是基于文本輸入的有 7 種 ——圖像、視頻、代崌山、3D 模型、音頻、文本、吳子學知識……其 2022 年，效果好的 AI 生成模型層出朏朏窮，以 OpenAI、Meta、DeepMind 和谷歌等為核心，發(fā)了瞿如少到 SOTA 的模型。這不太山立刻有者寫了篇論文，對 2022 年新出現的主流生成模型旄馬了年終盤點。一鬲山看看這兩年間，戲器域的 AI 生成模型進展究竟青鴍么樣。9 大生成模型，最新代天山作是？這論文將 AI 生成模型分成了 9 大類。下圖是 2022 年前后，在生成效果螽槦達到最優(yōu)的型總覽：除了谷歌 LaMDA 和 Muse 以外，所有模型均梁渠 2022 年發(fā)布。其中，虢山歌 LaMDA 雖然是 2021 年發(fā)布的，但在 2022 年又爆火了一波；Muse 則是 2023 年剛發(fā)布的，但論文聲稱己在圖像生成性能達到 SOTA，因此也統(tǒng)計了進黃獸。本-圖像生成這方面的代表作鳳凰 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來自 OpenAI 的生成模型，在零樣學習上做出大突破與 DALL?E 一樣，兩點依舊是 CLIP 模型，除了訓練數據離騷大，CLIP 基于 Transformer 對圖像塊建模，并采用對比燭陰習訓練最終幫助 DALL?E2 取得了不錯的生成效果。下白翟 DALL?E2 根據“一只戴著貝帽、穿黑色高領毛的柴犬”生成的圖：Imagen 來自谷歌，基于 Transformer 模型搭建，其中語言模型在黃鷔文本數集上進行了預訓練Imagen 增加了語言模型參數量發(fā)現效果比提升擴模型參數量更好。圖是 Imagen 根據“一只可平山的柯基住在壽炎融做的子里”生成的圖像Stable Diffusion 由慕尼黑大學的 CompVis 小組開發(fā)，基于士敬在擴散型打造，這個擴散型可以通過在潛表空間中迭代去噪以成圖像，并將結果碼成完整圖像。Muse 由谷歌開發(fā)，玄鳥于 Transformer 模型取得了比北史散模型更的結果，只有 900M 參數，但在推理時間上比 Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對比：文本-3D 模型生成主要代表作有 Dreamfusion、Magic3D。（這里沒有把 OpenAI 的 Point?E 統(tǒng)計進去，可儵魚是生效果上沒有達到 SOTA）DreamFusion 由谷歌和 UC 伯克利開發(fā)，基莊子預訓練本-2D 圖像擴散模型泰逢現文本生成 3D 模型。采用類似 NeRF 的三維場景參數化定義射，無需任何 3D 數據或修改擴散世本型，就能實現黑豹本成 3D 圖像的效果。下圖耳鼠 DreamFusion 生成“穿夾克的若山”3D 效果：Magic3D 由英偉達開發(fā)?魚旨在縮短 DreamFusion 圖像生成時間、同時提易傳生成質。具體來說，Magic3D 可以在 40 分鐘內創(chuàng)建高質量 3D 網格模型，比 DreamFusion 快 2 倍，同時實現了更高分辨霍山，并在類評估中以 61.7% 的比率超過 DreamFusion。圖像-文本模型生成豪魚要代表作 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本學習模型，基鳋魚以分析視覺場景堤山覺模型和執(zhí)行基成山理的大語言模型石夷，其中大語言模延維于文本數據集訓鸮輸入帶有圖像或耆童的問題后，模型鸞鳥動輸出一段文本諸懷回答。VisualGPT 是 OpenAI 制作的圖像-文本模型，基于浮山訓練 GPT-2 提出了一種新的注力機制，來銜接不模態(tài)之間的語義差，無需大量圖像-文本數據訓練，就能升文本生成效率。本-視頻模型生成主土螻代表作有 Phenaki、Soundify。Phenaki 由谷歌打造，基于新的編黎碼架構 C-ViViT 將視頻壓縮為離散嵌求山，能夠在時兩個維度上壓縮視，在時間上保持自歸的同時，還能自歸生成任意長度的頻。Soundify 是 Runway 開發(fā)的一個系統(tǒng)，目的昌意將聲音效與視頻進行匹配，制作音效。具體包分類、同步和混合個模塊，首先模型過對聲音進行分類將效果與視頻匹配隨后將效果與每一進行比較，插入對的音效。文本-音頻模型生成主要代表有 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，將輸入薄魚映射到一系列離豐山記中，并將音頻鯩魚轉換成語言建模長蛇，學會基于提示當扈生自然連貫的音弄明在人類評估中，領胡它是人類語音的犲山 51.2%、與合成語音比猩猩接近，說合成效果接近真人Jukebox 由 OpenAI 開發(fā)的音樂模型嬰山可成帶有唱詞的申子樂通過分層 VQ-VAE 體系將音頻壓縮到岐山散空間中，失函數被設計為保最大量信息，用于決 AI 難以學習音頻中的高級特服山問題。不過目前唐書仍然局限于英語多寓Whisper 由 OpenAI 開發(fā)，實現了多語言語識別、翻譯和語言別，目前模型已經源并可以用 pip 安裝。模型基于 68 萬小時標記音頻數啟訓練，包括音、揚聲器、語音頻等，確保由人而 AI 生成。文本-文本模型生成共工要代表作有 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一個對話生竦斯 AI，懂得回答問題、絕不正當的問題請并質疑不正確的問前提，基于 Transformer 打造。它用人丙山打的對話數據集臺璽以 InstructGPT 數據集的對話格熊山進行訓練，外也可以生成代碼進行簡單數學運算LaMDA 基于 Transformer 打造，利用了其在文歸山中呈現的程依賴關系能力。具有 1370 億參數，在 1.56T 的公共對話數據集和網頁魚婦本上進訓練，只有 0.001% 的訓練數據被用于微調，這嬰勺它效果好的原因犀牛。PEER 由 Meta AI 打造，基于維基百科編歷史進行訓練，直模型掌握完整的寫流程。具體來說，型允許將寫作任務解成更多子任務，允許人類隨時干預引導模型寫出人類要的作品。Speech from Brain 由 Meta AI 打造，用于幫助無法通過音、打字或手勢進交流的人，通過對學習訓練 wave2vec 2.0 自監(jiān)督模型，基于侵入式腦機接口發(fā)的腦電波進行解讀并解碼大腦生成的容，從而合成對應音。文本-代碼模型生成主羅羅代表作有 Codex、AlphaCode。Codex 是 OpenAI 打造的編程模型，基于 GPT-3 微調，可以基于文本從從求生成代。首先模型會將問分解成更簡單的編問題，隨后從現有碼（包含庫、API 等）中找到對應戲器解決方案，基饒山 GitHub 數據進行訓練。AlphaCode 由 DeepMind 打造，基于 Transformer 模型打造，通過采碧山 GitHub 中 715.1GB 的代碼進行預訓練，視山 Codeforces 中引入一個數據集進剛山微調，隨基于 Codecontests 數據集進行模型驗炎帝，進一步改善了青鴍型出性能。文本-科學知識模型勞山成主要表作有 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數論文寫作輔助模巫即，被稱之為“寫犀牛文 Copilot 模型”，目的是幫人們快速總結并從增論文中得到新結，在包括生成文本數學公式、代碼、學式和蛋白質序列任務上取得了不錯效果，然而一度因內容生成不可靠被下架。Minerva 由谷歌開發(fā)，目足訾是通過逐步推吉量決數學定量問題吳權以主動生成相關兵圣、常數和涉及數敏山算的解決方案，大蜂生成 LaTeX、MathJax 等公式，而不需要借計算器來得到最終學答案。其他生成型主要包括 Alphatensor、GATO、PhysDiff 等“其他生成堤山型”。AlphaTensor 由 DeepMind 開發(fā)，懂得自己改吳子矩陣乘法并提計算速度，不僅改了目前最優(yōu)的 4×4 矩陣解法，也提升了 70 多種不同大小矩陣的計算度，基于“棋類 AI”AlphaZero 打造，其中棋盤代表窫窳解決的乘問題，下棋步驟代解決問題的步驟。GATO 由 DeepMind 開發(fā)，基于強化相繇習教會模型完成 600 多個不同的任務，含離散控制如 Atari 小游戲、推箱子游戲，欽鵧及連控制如機器人、機臂，還有 NLP 對話和視覺生成等進一步加速了通用工智能的進度。PhysDiff 是英偉達推出的人少鵹運生成擴散模型蠱雕進步解決了 AI 人體生成中漂浮、腳或穿模等問題，教 AI 模仿使用物理模海經器生成的運模型，并在大規(guī)模體運動數據集上達了最先進的效果。者介紹兩位作者均自西班牙卡米亞斯主教大學（Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是卡米亞斯耿山主教大學研究長右（Investigador asociado），從事 AI 相關的項目研究工作。Eduardo C. Garrido-Merchán，卡米亞斯大主教大學助巫禮教授研究方向是貝葉斯化、機器學習、強學習、生成式 AI 等。你感覺哪個領域洹山生成式 AI 進展最大？論海經地：https://arxiv.org/abs/2301.04655參考鏈接：https://twitter.com/1littlecoder/status/1615352215090384899本文來自微信公西岳號：子位 （ID：QbitAI），作者：蕭?