今年2月份,當OpenAI推出文本轉視頻模型“Sora”時,其生成的視頻效果足以叫人驚掉下巴。它會依據文本指令生成複雜的攝像機運鏡,還會模擬真實世界的物理規律,製作精細的場景,以及生成多個具有生動情緒表情的角色……
ADVERTISEMENT
報道:本刊 林德成
照片:各個AI工具截圖
近年來,生成式AI工具的發展令人矚目,尤其當“Sora”亮相後,眾多競爭者迅速湧現,使得這條AI生成視頻的“賽道”變得異常熱鬧。各大科技公司和初創企業紛紛推出AI視頻生成工具,試圖搶佔市場。例如,中國短視頻平臺快手發佈了“可靈”(Kling),谷歌投資的AI創企Runway推出了“Runwayml”,中國科技公司生數科技與清華大學聯合發佈“Vidu”,美國新創公司Luma AI則帶來了“Dream Machine”等等。
這些AI工具各有千秋,採用不同的算法模型,能夠生成多樣化的視頻效果,在畫質、長度和動態表現上各有所長。若看演示視頻,你會感到很驚歎,因為生成的內容有很高的一致性,視覺效果逼真,且符合物理世界的光影效果。可是,實際操作下來,會發現生成結果和預期有一定的差距。無論文生視頻或圖生視頻,這些都很考驗AI對提示詞和圖片的理解能力,未必總能生成符合用戶期望的視頻。
面對如此豐富的AI工具選擇,我決定試用幾款免費的AI工具(需註冊賬號),製作一個數十秒的電影預告片。為此,我設下兩個原則:第一、完全免費,只靠平臺的免費Token或Credit;第二、無需下載安裝任何軟件,皆可在瀏覽器裡面完成。
我的創作流程如下:先用AI工具生成劇本和提示詞;接著,用提示詞生成分鏡圖片;然後用圖片生成視頻。緊接著,再用AI工具生成配樂,最後用視頻剪輯軟件完成整個預告片的製作。
第一步:創作劇本
在創作劇本時,首選工具是“ChatGPT”,它已經可以完成所有的劇本和分鏡圖的描述。如果想換口味,可以選擇AI搜索引擎“Perplexity”,它也能勝任。在這次創作中,我想要打造一個埃及盜墓故事。於是,我在“ChatGPT”輸入以下的指令:
“生成一個2分鐘的探險電影故事,情節內容必須要有埃及金字塔、法老、盜墓者、毒箭機關。充滿懸疑、緊張氛圍,情節曲折,故事結尾要反轉。請根據故事情節生成分鏡圖,及每個分鏡圖的Midjourney詳細提示詞。”
在這個過程中,Midjourney提示詞尤其重要,因為我們需要這些提示詞來生成視頻的分鏡圖。
第二步:生成分鏡圖
由於我的目標是免費,所以需要訂閱的“Midjourney”不在我的考量裡面。可是,一些工具的Token或Credit有限,所以我選擇兩款工具交替使用,分別是剪映旗下的“即夢”和全方位的AI圖像平臺“Leonardo.AI ”。前者需要用抖音賬號掃描二維碼登錄,後者要用谷歌賬號登錄。
要選什麼模型?我傾向真實感,“即夢”的最新模型是“通用2.0”,可以呈現多樣的風格組合,但畫風偏向非寫實,類似於繪畫風格。如果選“影視 v1.4”,會比較符合我想要的畫風。“Leonardo.AI ”的話,我選“Leonardo Phoenix”,畫風比較精緻真實,可以精準地識別提示詞。在後面圖生視頻時,我發現它的生成效果會較佳。
至於使用額度,“即夢”的免費賬號有60個積分,每天會刷新,而每一次生成圖片會花費1個積分,並有4張圖片供選擇。它可以調整精細度,數字越高,質量越好,不過生成時間較長。
“Leonardo.AI ”則有150個幣,每天也會刷新。它每一次生成圖片會耗費24個幣,所以要謹慎規劃。在風格(Preset Style)方面,我挑了“Cinematic”,對比度是“Medium”。
在電影畫幅方面,以16:9比例為準。“即夢”的免費賬號僅能生成1024×576;“Leonardo.AI ”卻可以選Small(1184×672)或Medium(1376×768)。如果覺得滿意了,就下載有關圖片。
第三步:圖片生視頻
一輪操作下來,你會發現一個問題──哎呀,我的主角面貌一直變來變去,怎麼辦?這個我暫時沒辦法,一些創作者有推薦使用換臉工具“Rope”,但該工具需到Github下載,這裡暫不深入探討。
在這個環節,我一樣選了兩個圖生視頻的AI工具──“可靈”和“Runwayml”。前者需要用快手賬號掃描二維碼登錄,後者要用谷歌賬號登錄。你也可以選用“Vidu”,但我試了幾次,頻頻彈出伺服器繁忙的訊息。後來雖然成功,不過要排隊等成品,為了節省時間,我最後棄用。
當你生成分鏡圖之後,每個場景選擇一張最符合你預期的圖片。接著,打開“可靈”,點擊“圖生視頻”,再上傳圖片,等個一兩分鐘就會看到成品了。至於“Runwayml”,點擊“Text/Image to Video”,然後再上傳圖片。這些AI工具會自行分析圖片訊息,去生成合適的視頻。不過,有時成品會慘不忍睹。
在生成模式方面,“可靈”免費用戶只能選擇“高性能”模式,時長可以選擇5秒或10秒。“Runwayml”的免費用戶只能選“Gen-2”模型。如果成為會員,就能使用他們最新的“Gen-3 Alpha Turbo”,這個模型比原版的Gen-3 Alpha快7倍。
完成之後,差不多大功告成了。
第四步:AI生成音樂
一套電影怎麼可以沒有背景配樂呢?這裡我就用知名的AI音樂平臺“Suno”。首先在官網註冊一個免費賬號,登錄之後,在主頁面點擊“Create”。進入頁面後會看到“Song description”,接著輸入你想要的音樂風格。
天啊?要怎樣寫?別慌,你忘了有“ChatGPT”嗎?由於我想要配樂而已,不是主題曲,所以我勾選“Instrumental”,欄目隨之切換成“Style of Music”。
在“ChatGPT”的幫助下,我輸入“adventurous, suspenseful, orchestral with middle eastern influences.The chorus of the song must have a climax.”不到一分鐘,“Suno”會生成2兩首歌曲。免費用戶會有50個積分,每次生成會扣掉10個積分。因此免費用戶最多可以生成5次音樂。
第五步:自行剪輯視頻
有了視頻和配樂,最後一步是剪輯視頻。我推薦使用剪映或Capcut。因為它們的操作簡單、界面直觀,非常適合初學者和需要快速剪片的人。關於剪輯方式,礙於篇幅有限,大家可上網搜索教程。相信我,很快就能夠掌握訣竅了,你之後還可以添加字幕和使用剪映的“文本朗讀”功能。
或許你會問,要怎樣讓角色說話和匹配口型?這個程序有點複雜,需要動用AI語音生成工具“Eleven Labs”和語音同步動畫工具“Lalamu Studio”。這裡就不演示了,有興趣者可以去學習這些工具。
相關稿件: 【AI降陸影視業/01】AI神操作衝擊影視業 大師飯碗也難保? 【AI降陸影視業/02】用對AI無中生有 外行人秒當編劇 【AI降陸影視業/03】AI演員精緻完美 人性缺陷表演卻難以複製
ADVERTISEMENT
热门新闻
百格视频
ADVERTISEMENT