有了 Runway Gen-2,你可以用任何想象得到的图像、视频或文本生成一段酷炫的大片,想要什么风格,就有什么风格。
这个速度真是太快了:Gen-1 的内测都还没有拿到,Gen-2 就已经来了!
只需要简单几步,一句话,一张图,三秒钟就可以生成一个惊艳的视频。
之前,Runway 在文本到图像领域就曾经大放异彩。大名鼎鼎的 Stable Diffusion 就是 Runway 开发的。
今年 2 月,Runway 推出了首个 AI 编辑模型 Gen-1。顾名思义,Gen-1 可以在原视频的基础上,编辑出我们想要的视频。无论是粗糙的 3D 动画,还是用手机拍出来的晃动视频,Gen-1 都能升级出一个不可思议的效果。
这是论文地址而相比Gen-1,Gen-2获得了史诗级的升级——可以从头开始生成视频。
接下来是网友实测,来看看效果有多炸裂!获得内测资格的幸运网友,已经开始动手生成自己的电影了。
无论是宫崎骏风格的日系动画,还是写实风格的镜头特写,或者魔幻特效的电影大片,Gen-2都不在话下。
虽然目前的画质可能还不够细腻,但毕竟是从0生成的视频,随着ai的发展效果肯定是要成指数级别上升的。
为什么说Gen-2 很 NB 呢?
1、Text to Video(文字生成视频)
一个文本提示,就能合成出任意风格的视频,不怕它生不出来,只怕你想不到。
提示:
输出:
2、Text + Image to Video(文字+图像生成视频)
输入一幅图,再加一句prompt,直接就给你变成了视频。
输入图像:
驱动提示:
输出:
3、Image to Video(图像生成视频)
这个不用解释了,你给它一张图片,它给你秒变一段视频。多种风格,随你选择。
美图一秒变电影,这也太梦幻了吧。
输入图像:
输出:
4、Stylization(风格化)
如果你有一段原视频,但是效果不够炸裂,怎么办?
只需要把你想要叠加的风格用图片或者文字叠加上去,多魔幻的风格都立马生成,秒变好莱坞大片。
原始视频:
驱动图像:
输出:
5、Storyboard(故事版)
将模拟的场景一拉,就变成了风格化和动画化的渲染图,前期制作一键简化。
输出&输出对比:
6、Mask(掩码)
在你的视频中分离出特定的对象,然后通过prompt,想怎么改就怎么改,比如下图中,金毛秒变斑点狗。
输入视频:
驱动提示:
输出:
7、Render(渲染)
只要输入图像或提示,无纹理的渲染立马变成现实的输出,深度和真实感震撼人心。
输入视频:
输出:
8、Customization(个性化)
通过自定义,让原视频个性化大变身,保真度还超高。
点击就看外国小哥秒变海龟人。
输入&输出对比:
训练图像:
从生成结果来看,Gen-2实在是太令人震撼了,可惜现在还没有办法测试到。不过 Gen-1我们还是可以先申请了试一试的。
Gen-1内测申请Meta和谷歌也有相似的文本到视频模型(Make-a-Video 和 Phenaki),生成的剪辑更长,更连贯。不过这些公司太大了,没有太多资源。相比之下,Runway的团队只有45个人,但他们也做得不错。
实际上,自2018年以来,Runway一直专注于研究AI工具,并在去年年底筹集了5000万美元。有趣的是,Stable Diffusion的初始版本就是由Runway贡献的。只不过后来被Stability AI推广,并进一步发展。
这也告诉我们,初创公司在生成式AI上的潜力是多么惊人啊!
再来一大波展示吧,UP 已经无语了!
提示:一只眼睛的特写镜头
提示:无人机拍摄的沙漠景观
以上所有参考资料来源:
https://research.runwayml.com/gen2 https://www.theverge.com/2023/3/20/23648113/text-to-video-generative-ai-runway-ml-gen-2-model-access 微信:程序员软件库
评论(0)