今年2月份,当OpenAI推出文本转视频模型“Sora”时,其生成的视频效果足以叫人惊掉下巴。它会依据文本指令生成复杂的摄像机运镜,还会模拟真实世界的物理规律,制作精细的场景,以及生成多个具有生动情绪表情的角色……
ADVERTISEMENT
报道:本刊 林德成
照片:各个AI工具截图
近年来,生成式AI工具的发展令人瞩目,尤其当“Sora”亮相后,众多竞争者迅速涌现,使得这条AI生成视频的“赛道”变得异常热闹。各大科技公司和初创企业纷纷推出AI视频生成工具,试图抢占市场。例如,中国短视频平台快手发布了“可灵”(Kling),谷歌投资的AI创企Runway推出了“Runwayml”,中国科技公司生数科技与清华大学联合发布“Vidu”,美国新创公司Luma AI则带来了“Dream Machine”等等。
这些AI工具各有千秋,采用不同的算法模型,能够生成多样化的视频效果,在画质、长度和动态表现上各有所长。若看演示视频,你会感到很惊叹,因为生成的内容有很高的一致性,视觉效果逼真,且符合物理世界的光影效果。可是,实际操作下来,会发现生成结果和预期有一定的差距。无论文生视频或图生视频,这些都很考验AI对提示词和图片的理解能力,未必总能生成符合用户期望的视频。
面对如此丰富的AI工具选择,我决定试用几款免费的AI工具(需注册账号),制作一个数十秒的电影预告片。为此,我设下两个原则:第一、完全免费,只靠平台的免费Token或Credit;第二、无需下载安装任何软件,皆可在浏览器里面完成。
我的创作流程如下:先用AI工具生成剧本和提示词;接着,用提示词生成分镜图片;然后用图片生成视频。紧接着,再用AI工具生成配乐,最后用视频剪辑软件完成整个预告片的制作。
第一步:创作剧本
在创作剧本时,首选工具是“ChatGPT”,它已经可以完成所有的剧本和分镜图的描述。如果想换口味,可以选择AI搜索引擎“Perplexity”,它也能胜任。在这次创作中,我想要打造一个埃及盗墓故事。于是,我在“ChatGPT”输入以下的指令:
“生成一个2分钟的探险电影故事,情节内容必须要有埃及金字塔、法老、盗墓者、毒箭机关。充满悬疑、紧张氛围,情节曲折,故事结尾要反转。请根据故事情节生成分镜图,及每个分镜图的Midjourney详细提示词。”
在这个过程中,Midjourney提示词尤其重要,因为我们需要这些提示词来生成视频的分镜图。
第二步:生成分镜图
由于我的目标是免费,所以需要订阅的“Midjourney”不在我的考量里面。可是,一些工具的Token或Credit有限,所以我选择两款工具交替使用,分别是剪映旗下的“即梦”和全方位的AI图像平台“Leonardo.AI ”。前者需要用抖音账号扫描二维码登录,后者要用谷歌账号登录。
要选什么模型?我倾向真实感,“即梦”的最新模型是“通用2.0”,可以呈现多样的风格组合,但画风偏向非写实,类似于绘画风格。如果选“影视 v1.4”,会比较符合我想要的画风。“Leonardo.AI ”的话,我选“Leonardo Phoenix”,画风比较精致真实,可以精准地识别提示词。在后面图生视频时,我发现它的生成效果会较佳。
至于使用额度,“即梦”的免费账号有60个积分,每天会刷新,而每一次生成图片会花费1个积分,并有4张图片供选择。它可以调整精细度,数字越高,质量越好,不过生成时间较长。
“Leonardo.AI ”则有150个币,每天也会刷新。它每一次生成图片会耗费24个币,所以要谨慎规划。在风格(Preset Style)方面,我挑了“Cinematic”,对比度是“Medium”。
在电影画幅方面,以16:9比例为准。“即梦”的免费账号仅能生成1024×576;“Leonardo.AI ”却可以选Small(1184×672)或Medium(1376×768)。如果觉得满意了,就下载有关图片。
第三步:图片生视频
一轮操作下来,你会发现一个问题──哎呀,我的主角面貌一直变来变去,怎么办?这个我暂时没办法,一些创作者有推荐使用换脸工具“Rope”,但该工具需到Github下载,这里暂不深入探讨。
在这个环节,我一样选了两个图生视频的AI工具──“可灵”和“Runwayml”。前者需要用快手账号扫描二维码登录,后者要用谷歌账号登录。你也可以选用“Vidu”,但我试了几次,频频弹出伺服器繁忙的讯息。后来虽然成功,不过要排队等成品,为了节省时间,我最后弃用。
当你生成分镜图之后,每个场景选择一张最符合你预期的图片。接着,打开“可灵”,点击“图生视频”,再上传图片,等个一两分钟就会看到成品了。至于“Runwayml”,点击“Text/Image to Video”,然后再上传图片。这些AI工具会自行分析图片讯息,去生成合适的视频。不过,有时成品会惨不忍睹。
在生成模式方面,“可灵”免费用户只能选择“高性能”模式,时长可以选择5秒或10秒。“Runwayml”的免费用户只能选“Gen-2”模型。如果成为会员,就能使用他们最新的“Gen-3 Alpha Turbo”,这个模型比原版的Gen-3 Alpha快7倍。
完成之后,差不多大功告成了。
第四步:AI生成音乐
一套电影怎么可以没有背景配乐呢?这里我就用知名的AI音乐平台“Suno”。首先在官网注册一个免费账号,登录之后,在主页面点击“Create”。进入页面后会看到“Song description”,接着输入你想要的音乐风格。
天啊?要怎样写?别慌,你忘了有“ChatGPT”吗?由于我想要配乐而已,不是主题曲,所以我勾选“Instrumental”,栏目随之切换成“Style of Music”。
在“ChatGPT”的帮助下,我输入“adventurous, suspenseful, orchestral with middle eastern influences.The chorus of the song must have a climax.”不到一分钟,“Suno”会生成2两首歌曲。免费用户会有50个积分,每次生成会扣掉10个积分。因此免费用户最多可以生成5次音乐。
第五步:自行剪辑视频
有了视频和配乐,最后一步是剪辑视频。我推荐使用剪映或Capcut。因为它们的操作简单、界面直观,非常适合初学者和需要快速剪片的人。关于剪辑方式,碍于篇幅有限,大家可上网搜索教程。相信我,很快就能够掌握诀窍了,你之后还可以添加字幕和使用剪映的“文本朗读”功能。
或许你会问,要怎样让角色说话和匹配口型?这个程序有点复杂,需要动用AI语音生成工具“Eleven Labs”和语音同步动画工具“Lalamu Studio”。这里就不演示了,有兴趣者可以去学习这些工具。
相关稿件: 【AI降陆影视业/01】AI神操作冲击影视业 大师饭碗也难保? 【AI降陆影视业/02】用对AI无中生有 外行人秒当编剧 【AI降陆影视业/03】AI演员精致完美 人性缺陷表演却难以复制
ADVERTISEMENT
热门新闻
百格视频
ADVERTISEMENT