有了 Runway Gen-2,你可以用任何想象得到的图像、视频或文本生成一段酷炫的大片,想要什么风格,就有什么风格。

这个速度真是太快了:Gen-1 的内测都还没有拿到,Gen-2 就已经来了!

只需要简单几步,一句话,一张图,三秒钟就可以生成一个惊艳的视频。

之前,Runway 在文本到图像领域就曾经大放异彩。大名鼎鼎的 Stable Diffusion 就是 Runway 开发的。

今年 2 月,Runway 推出了首个 AI 编辑模型 Gen-1。顾名思义,Gen-1 可以在原视频的基础上,编辑出我们想要的视频。无论是粗糙的 3D 动画,还是用手机拍出来的晃动视频,Gen-1 都能升级出一个不可思议的效果。

这是论文地址

而相比Gen-1,Gen-2获得了史诗级的升级——可以从头开始生成视频。

目前,这个模型还未开放,预计在几周内会公开。
而根据目前的演示片段看来,Gen-2的效果似乎暂时比不上Gen-1,没有那么逼真。
但是,这毕竟是AI文生视频0到1的第一步。AI导演做到这一步,已经够人类颤抖的了。

接下来是网友实测,来看看效果有多炸裂!获得内测资格的幸运网友,已经开始动手生成自己的电影了。

无论是宫崎骏风格的日系动画,还是写实风格的镜头特写,或者魔幻特效的电影大片,Gen-2都不在话下。

虽然目前的画质可能还不够细腻,但毕竟是从0生成的视频,随着ai的发展效果肯定是要成指数级别上升的。

为什么说Gen-2 很 NB 呢?

1、Text to Video(文字生成视频)

一个文本提示,就能合成出任意风格的视频,不怕它生不出来,只怕你想不到。

提示:

在纽约市的一间阁楼里,傍晚的阳光透过窗户温柔地洒进屋内。

输出:

2、Text + Image to Video(文字+图像生成视频)

输入一幅图,再加一句prompt,直接就给你变成了视频。

输入图像:

驱动提示:

在一个低角度拍摄的画面中,男子正沿着街道行走,周围酒吧的霓虹灯照亮了他的身影。

输出:

3、Image to Video(图像生成视频)

这个不用解释了,你给它一张图片,它给你秒变一段视频。多种风格,随你选择。

美图一秒变电影,这也太梦幻了吧。

输入图像:

输出:

4、Stylization(风格化)

如果你有一段原视频,但是效果不够炸裂,怎么办?

只需要把你想要叠加的风格用图片或者文字叠加上去,多魔幻的风格都立马生成,秒变好莱坞大片。

原始视频:

驱动图像:

输出:

5、Storyboard(故事版)

将模拟的场景一拉,就变成了风格化和动画化的渲染图,前期制作一键简化。

输出&输出对比:

6、Mask(掩码)

在你的视频中分离出特定的对象,然后通过prompt,想怎么改就怎么改,比如下图中,金毛秒变斑点狗。

输入视频:

驱动提示:

一只身上有黑色斑点的白毛狗。

输出:

7、Render(渲染)

只要输入图像或提示,无纹理的渲染立马变成现实的输出,深度和真实感震撼人心。

输入视频:

输出:

8、Customization(个性化)

通过自定义,让原视频个性化大变身,保真度还超高。

点击就看外国小哥秒变海龟人。

输入&输出对比:

训练图像:

从生成结果来看,Gen-2实在是太令人震撼了,可惜现在还没有办法测试到。不过 Gen-1我们还是可以先申请了试一试的。

Gen-1内测申请

Meta和谷歌也有相似的文本到视频模型(Make-a-Video 和 Phenaki),生成的剪辑更长,更连贯。不过这些公司太大了,没有太多资源。相比之下,Runway的团队只有45个人,但他们也做得不错。

实际上,自2018年以来,Runway一直专注于研究AI工具,并在去年年底筹集了5000万美元。有趣的是,Stable Diffusion的初始版本就是由Runway贡献的。只不过后来被Stability AI推广,并进一步发展。

这也告诉我们,初创公司在生成式AI上的潜力是多么惊人啊!

再来一大波展示吧,UP 已经无语了!

提示:一只眼睛的特写镜头

提示:无人机拍摄的沙漠景观

以上所有参考资料来源:

https://research.runwayml.com/gen2 https://www.theverge.com/2023/3/20/23648113/text-to-video-generative-ai-runway-ml-gen-2-model-access 微信:程序员软件库
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。