星洲网
星洲网
星洲网 登录
我的股票|星洲网 我的股票
Newsletter|星洲网 Newsletter 联络我们|星洲网 联络我们 登广告|星洲网 登广告 关于我们|星洲网 关于我们 活动|星洲网 活动

ADVERTISEMENT

ADVERTISEMENT

副刊

|

e潮

|
发布: 8:00am 22/02/2024

谷歌

e潮

人工智能

AI

潮风向

OpenAI

Sora

生成视频

Lumiere

谷歌生成视频把名画搞笑了

报道:本刊 林德成
想让《戴珍珠耳环的少女》对你微笑?没问题!Lumiere可以帮你。

圈真的太“卷”了!几乎每隔一段时间就会有新品出现,给人带来惊喜。

最近就发布了全新生成式AI模型“”,能以文字创造逼真视频,完全没有抖动或闪现。

ADVERTISEMENT

也不遑多让,日前才向全球展示文本转视频模型“”,可以生成长达1分钟的高清视频。然后在一个视频里面创建多个镜头视角。这两款新品完全颠覆了AI视频的游戏规则,也为影视界带来新尝试。但众人亦担忧,未来会不会出现大量逼真的造假视频。

报道:本刊 林德成

在Lumiere的演示视频里面,17世纪荷兰画家约翰内斯.维米尔创作的《戴珍珠耳环的少女》油画突然变成了视频,还能对你眨眼微笑,真的令人大开眼界。同时间,Lumiere还能模仿图片风格,然后在时应用这个风格。另外,Lumiere还具备编辑视频内容的功能,只需用鼠标框选物件,并输入提示词,它就能将连身裙变成金色晚礼服,日后想修改视频也完全没问题。

Lumiere可以将用户的视频转换风格,比如变成纸雕、积木或花卉的呈现风格。
令人惊讶的是,想要修改视频内容也不成问题。Lumiere可以将视频中的少女连身裙变成其他衣服。

为何Lumiere能够创建逼真视频?这是因为它采用了一种名为“Space-Time U-Net”(STUNet)的时空扩散模型来生成影像。有别于以往的AI生成视频模型,它不是将静态图像拼接成视频,而是直接从头到尾生成一个长达5秒(16fps)的视频。通过STUNet技术,Lumiere能够计算出物品或人物在视频里面的位置,以及如何移动和变化,让整个动作画面变得连贯流畅。

Lumiere还可以模仿照片风格,然后依照这个风格生成一段视频。
Lumiere所生成的视频太逼真,完全没有抖动或闪现,可惜视频长度太短。

演示视频里面,谷歌展示了Lumiere的6项功能,它不仅能够以文字生视频,用户还可以上传图片和视频,让AI帮你“动刀”。在图片方面,它可以将图片秒变视频、模仿图片风格生成同风格的视频,以及让图片的局部区域“动”起来(Cinemagraphs);视频方面,Lumiere能够转换视频风格,比如变成纸雕、积木或花卉的风格。同时可以编辑视频,替换视频中的某个物件(Inpainting)。

相较于Stable Video Diffusion的25帧视频,Lumiere则可以生成80帧的视频。

如果想要火堆烧起来,只需用鼠标框选物件,输入提示词即可。这项功能类似Runway的动态画笔。

OpenAI可生成最长1分钟视频

对比Lumiere,OpenAI的文本转视频模型Sora似乎更具优势。目前大部分AI模型只能生成几秒钟的视频,而它竟然能够生成长达1分钟的视频。

Sora可以依照用户指示,仿造出用35毫米胶片拍摄的电影风格。

根据官网资料,Sora是一款扩散模型,并在DALL-E和GPT模型的研究基础上演化而成。通过演示视频,Sora有很强的实力,可以创建出一个很复杂的场景,比如有很多个人物角色、特定动作,还有精准的主题和背景。“该模型不仅能够理解用户在提示中所提出的要求,还能理解这些东西在现实世界里面的运动模式。”

Sora所生成的视频非常真实,就连霓虹灯在水洼中的光影都呈现出来。

此外,Sora可以在一个视频里面创建多个镜头视角,比方说从一个无人机的视角,拉近到一个中景,使到整个画面变得丰富和有动感。不过,Sora难以模拟出一些真实世界的物理现象和因果关系。例如一个人咬了一口饼干,但饼干上面却没有咬痕。有时候,Sora还会混淆提示词中的细节,例如左右的方向,以及无法跟随摄像机的轨迹移动。

有没有被震撼?Sora还能以低角度视角去“拍摄”猛犸象逐渐靠近镜头的画面。
想要超现实的视频画面?Sora也能办得到。

除了文本转视频,Sora还可以将两个不同主题场景的视频无缝接轨,变成一个看似流畅又充满奇幻想像的视频。

现阶段,OpenAI正在为Sora进行“红队演练”(red-teaming)安全测试,未公开给大众使用,只有少数研究者和影片创作者才有机会试用。

Sora的强大优势是能创建出一个很复杂的场景,比如这个视频的提示只有“与中国龙一起庆祝中国农历新年的视频。”但Sora自动加入很多人物角色和安排制定动作。可以看到当舞龙团队经过时,路边的行人都在高举手机拍摄。
相关稿件:

【潮风向】炸了世界又换脸 数字王国用AI玩疯电影
【潮风向】《芭本海默》“横空出世” AI电影不再是天方夜谭

打开全文

ADVERTISEMENT

热门新闻

百格视频

ADVERTISEMENT

点击 可阅读下一则新闻

ADVERTISEMENT