谷歌生成視頻把名畫搞笑了

演示視頻裡面，谷歌展示了Lumiere的6項功能，它不僅能夠以文字生視頻，用戶還可以上傳圖片和視頻，讓AI幫你“動刀”。在圖片方面，它可以將圖片秒變視頻、模仿圖片風格生成同風格的視頻，以及讓圖片的局部區域“動”起來（Cinemagraphs）；視頻方面，Lumiere能夠轉換視頻風格，比如變成紙雕、積木或花卉的風格。同時可以編輯視頻，替換視頻中的某個物件（Inpainting）。

相較於Stable Video Diffusion的25幀視頻，Lumiere則可以生成80幀的視頻。

OpenAI可生成最長1分鐘視頻

對比Lumiere，OpenAI的文本轉視頻模型Sora似乎更具優勢。目前大部分AI模型只能生成幾秒鐘的視頻，而它竟然能夠生成長達1分鐘的視頻。

根據官網資料，Sora是一款擴散模型，並在DALL-E和GPT模型的研究基礎上演化而成。通過演示視頻，Sora有很強的實力，可以創建出一個很複雜的場景，比如有很多個人物角色、特定動作，還有精準的主題和背景。“該模型不僅能夠理解用戶在提示中所提出的要求，還能理解這些東西在現實世界裡面的運動模式。”

此外，Sora可以在一個視頻裡面創建多個鏡頭視角，比方說從一個無人機的視角，拉近到一箇中景，使到整個畫面變得豐富和有動感。不過，Sora難以模擬出一些真實世界的物理現象和因果關係。例如一個人咬了一口餅乾，但餅乾上面卻沒有咬痕。有時候，Sora還會混淆提示詞中的細節，例如左右的方向，以及無法跟隨攝像機的軌跡移動。

除了文本轉視頻，Sora還可以將兩個不同主題場景的視頻無縫接軌，變成一個看似流暢又充滿奇幻想像的視頻。

現階段，OpenAI正在為Sora進行“紅隊演練”（red-teaming）安全測試，未公開給大眾使用，只有少數研究者和影片創作者才有機會試用。

相關稿件：

【潮風向】炸了世界又換臉 數字王國用AI玩瘋電影
【潮風向】《芭本海默》“橫空出世” AI電影不再是天方夜譚