原文標題：這段視頻火外網(wǎng)，谷歌 AI 視頻造假搞得太太簡單了》人們，AI 做視頻這事天又被推向輿論的風(fēng)口尖。起因是人在網(wǎng)上發(fā)了這么一只企鵝的視頻而這個近 50 秒視頻的誕生，靠的僅是 6 句話！陸陸續(xù)的，網(wǎng)友們在發(fā)布著這 AI 的其它杰作：這給它投喂的示詞也是極，僅 4 行：如此“所即所得”、滑連貫的視生成方式，是令不少網(wǎng)發(fā)出感慨：來已至。甚還有人開始拉仇恨”， AI 正在用各種方式毀行業(yè)……后就有很多發(fā)問了：“又是哪家新的 AI 哇？”不過眼的網(wǎng)友發(fā)現(xiàn)其實是一位老朋友”了 ——谷歌去 10 月份便發(fā)布的一文本轉(zhuǎn)視頻Text-to-Video）模型：Phenaki。只需一段示詞，分分可以生成長兩分鐘的視。而相比 Phenaki 剛發(fā)布的時候，谷歌又了一波上新作。那么我現(xiàn)在就來一看看這些新頻吧~打字就能生成的視與以往 AI 生成的視頻不同，Phenaki 最大的特點便有故事、有度。例如，們再給這么段場景描述在一座未來十足的城市，交通紛繁雜，這時，艘外星飛船達了城市。著鏡頭的拉，畫面進入了飛船內(nèi)部而后鏡頭沿船內(nèi)長廊繼向前推進，到看到一名航員在藍色房間里敲鍵打字。鏡頭漸移向宇航的左側(cè)，身出現(xiàn)藍色海，魚兒們在里徜徉；畫快速放大聚到一條魚的上。隨后鏡快速從海里出，直到看摩天大樓高林立的未來市；鏡頭再速拉近到一大樓的辦公。這時，一獅子突然跳辦公桌上并始奔跑；鏡先聚焦到獅的臉上，等次拉遠時，只獅子已經(jīng)化成西裝革的“獸人”最后，鏡頭辦公室拉出落日余暉下瞰這座城市想必不少友們在讀這段字過程中，中已經(jīng)浮現(xiàn)應(yīng)的畫面了接下來，我一起看看 Phenaki 生成的效果如何：是不和你腦補出的畫面一致？總體來說這個 AI 即便面對這腦洞大開的景提示詞，是做到了無銜接的轉(zhuǎn)場也難怪網(wǎng)友看完這段視后驚呼“（技）發(fā)展得快啊”。而于篇幅稍短提示詞，Phenaki 就更不在話了。例如， Phenaki 投喂這樣一段文字一只逼真的迪熊正在潛；隨后它慢浮出水面；上沙灘；這鏡頭拉遠，迪熊行走在灘邊篝火旁沒看夠？那來一段，這換個主角：火星上，宇員走過一個坑，水里倒著他的側(cè)影他在水旁起；然后宇航開始遛狗；后他和小狗起看火星上煙花。而在歌更早發(fā)布 Phenaki 之際，還展示了向 Phenaki 輸入一個初始幀以及一提示詞，便以生成一段頻的能力。如給定這樣張靜態(tài)圖：后再給它 Phenaki 簡單“投喂”一句：白用貓爪觸摸像機。效果出來了：還基于這張圖把提示詞改“一只白貓哈欠”，效就成這樣了當然，任意換視頻整體格也是可以 hold 得住的：網(wǎng)友視頻行業(yè)要 AI 沖擊了嗎？但除 Phenaki 之外，谷歌當時還道發(fā)布過 Imagen Video，能夠生成 1280*768 分辨率、每秒 24 幀的高清視片段。它基圖像生成 SOTA 模型 Imagen，展示出了三種特別的力：能理解生成不同藝風(fēng)格的作品水彩、像素至梵高風(fēng)格理解物體的 3D 結(jié)構(gòu)繼承了 Imagen 準確描繪文字的力更早的，Meta 也發(fā)布了 Make-A-Video，不僅能夠通過文轉(zhuǎn)換視頻，能根據(jù)圖像成視頻，比：將靜態(tài)圖轉(zhuǎn)成視頻插：根據(jù)前后張圖片生成段視頻根據(jù)視頻生成新頻……對于如“雨后春”突然冒出生成視頻模，不免會讓些人擔(dān)心：然也有人認現(xiàn)在時機還到：0-1 總會很快，1-100 還是會很漫長不過已經(jīng)有友在期待靠 AI 拿奧斯卡獎了：AI 要多久才能成為新的視編輯器，或拿下奧斯卡原理介紹再回 Phenaki，有不少網(wǎng)友都比好奇它是如通過文字生這么絲滑的頻的？簡單說，Phenaki 相較于以往的生視頻模型，更注重時間度任意性和貫性。Phenaki 之所以能夠生任意時間長的視頻，很程度上要歸于新的編碼-解碼器架構(gòu)：C-ViViT。它是 ViViT 的一個因果體，能夠?qū)?頻壓縮為離嵌入。要知，以往獲取頻壓縮，要就是編碼器能及時壓縮頻，導(dǎo)致最生成的視頻短，例如 VQ-GAN，要么就是編器只支持固視頻長度，終生成視頻長度不能任調(diào)節(jié)，例如 VideoVQVAE。但 C-ViViT 就不一樣了，它可是兼顧了上兩種架構(gòu)的點，能夠在間和空間維上壓縮視頻并且在時間保持自回歸同時，還可自回歸生成意長度的視。C-ViViT 可以使模型生成任長度的視頻那最終視頻邏輯性又是么保證的呢這就得靠 Phenaki 另外一個比較重要的部：雙向 Transformer。在這其中，為節(jié)時間，采樣驟是固定的并且在處理本提示的過中，能同時測不同的視 token。這樣一來結(jié)合前面提的，C-ViViT 能夠在時間和空維度上壓縮頻，壓縮出的 token 是具有時間邏輯性的也就是說，這些 token 上經(jīng)過掩碼訓(xùn)練的 Transformer 也具備時間輯性，最終成的視頻在貫性自然也有了保證。果還想了解多關(guān)于 Phenaki 的東西，可戳這里查看Phenaki：https://phenaki.github.io參考鏈接：[1]?https://phenaki.video/[2]?https://phenaki.research.google/[3]?https://twitter.com/AiBreakfast/status/1614647018554822658[4]?https://twitter.com/EvanKirstel/status/1614676882758275072本文來自微信公眾號量子位 （ID：QbitAI），作者：金磊 Pine