查看原文
其他

好莱坞大导预测成真,Meta 让 AI “一句话生成一部电影” 不再是梦

InfoQ 2023-11-28

编译 | 凌敏、核子可乐
漫威导演 JoeRusso 曾预测:两年内,AI 能创作出成熟的电影。  

11 月 16 日,Meta 宣布推出两款 AI 视频编辑工具:Emu Video 与 Emu Edit。

其中,Emu Video 可用于视频生成,只需输入标题、图像、图像加描述,Emu Video 就能生成一条 4 秒长的动画片段。Emu Video 生成的片段,还可以用 Emu Edit 编辑工具进行进一步调整,用户同样通过自然语言描述自己需要进行的修改,例如“内容不变,但改为慢动作”,之后就能在 Emu Edit 中查看变化后的效果。

Meta 表示,目前这项工作还属于纯基础研究,但却有着显而易见的潜在用例。想象一下,如果大家希望即时生成自己的动画大头贴或者 GIF 动图,那绝对会成为群聊中最耀眼的明星——再不必通过搜索引擎来回寻找。或者,不具备任何技术认知的朋友也能轻松编辑自己的照片和图像,把静态照片转化为精致的动画,甚至用它创作出更多全新的内容。

Meta 强调,虽然肯定不足以取代专业艺术家和动画师,但 Emu Video 和 Emu Edit 这类最新技术可以帮助人们以前所未有的方式表达自我,通过更加积极、丰富、动态的方式与他人互动。

1 基于 Emu 模型打造,Emu Video 生成的视频足以以假乱真?

据 Meta 介绍,Emu Video 基于 Emu 模型打造。Emu 是 Meta 旗下首款图像生成基础模型,于今年的 Meta Connect 上正式发布。目前,Emu 技术已经在支持 Meta 内部的一系列生成式 AI 体验,包括 Instagram 中那些为照片添加滤镜或背景的 AI 图像编辑工具、以及 Meta AI 中可直接通过提示词为助手应用和群聊场景生成逼真图像的 Imagine 功能。

Meta 在其中提出一种基于扩散模型的文本到视频简单生成方法。这是一套用于视频生成任务的统一架构,能够响应各自足输入形式:纯文本、纯图像以及文本加图像。

Meta 将这个过程分为两个步骤:首先是根据文本提示词生成图像,接下来再根据文本加生成图像进一步输出视频。这种“分解”式的视频生成方法能够提高视频生成模型的训练效率,也证明视频的分解生成方法完全可以通过单一扩散模型来实现。Meta 在其中提出了一系列关键设计决策,例如调整视频扩散的噪声时间表,并配合多段式训练让模型具备了直接生成高分辨率视频的能力。

与此前需要深度级联模型(例如同时使用五种模型生成视频)的方案不同,Meta 的新成果更易于实现,仅使用两个扩散模型即可生成分辨率为 512 x 512、每秒 16 帧、长度为 4 秒的视频。凭借极佳的保真度,很多非专业人士甚至根本无法将其与真实场景区分开来。

评估发现,与之前的方案相比,Meta 新模型生成的视频更受欢迎——96% 的受访者表示 Emu 模型生成的视频质量更高,85% 的受访者觉得它更能忠实反映自己输入的提示词。最后,这套模型还能根据文本提示词对用户提交的图像进行“动画化”处理,且效果同样大大超越之前的同类方案。

据了解,Emu Video 最擅长的,似乎是那些比较简单、且以静态为主的场景。这些场景大多背离照片写实主义,而强调立体主义、动漫、剪纸以及蒸汽朋友等视觉风格。但即使是在 Emu Video 最出色的作品中,AI 生成的老毛病也还是若隐若现——比如奇怪的物理现象、怪异的肢体等等,物体的出现和消失也往往没有什么逻辑。

虽然 Meta 接下来还有很多工作要做,但必须承认,把 Emu Video 生成的影像偷偷插进影视剧中,大多数观众可能很难分辨得出来。

2 Emu Edit:通过识别和生成任务精确实现图像编辑

生成式 AI 的应用总是伴随着一整个过程:用户首先输入提示词,之后发现生成的图像与自己的需求有所出入,接下来继续调整提示词直到获得更理想的结果。正因为如此,提示词工程甚至开始成为一种趋势。尽管指令式图像生成模型近年来取得了显著进步,但它们在精确控制能力方面仍然面临很大局限。基于此,Meta 决定推出 Emu Edit,希望用一种新颖的方法简化各类图像处理任务、增强图像编辑的功能性和准确性。

Emu Edit 能够通过指令自由实现各种编辑操作,包括局部与全局编辑、移除和添加背景、颜色与几何形状变换、检测和分割等任务。原有方案在编辑任务中往往存在过度修改等问题,而 Meta 认为 AI 编辑工具的意义不仅在于产出“可信”的图像,更应该专注于精确修改与编辑请求相关的具体像素。

与当前大部分生成式 AI 模型不同,Emu Edit 能够精确遵循指令,确保输入图像中与指令无关的像素继续保持不变。例如,在向图片中的棒球帽添加“欢呼!”字样时,帽子本身应该保持不变。

Meta 的主要思路就是把计算机视觉任务当作图像生成模型的指令,借此对生成和编辑操作施以前所未有的控制。而在一系列针对局部和全局内容的编辑测试之后,Meta 发现 Emu Edit 在精确执行编辑指令方面确实拥有惊人的潜力。

为了训练模型,Meta 开发出一套包含 1000 万合成样本的数据集,每个样本都对应一幅输入图像、待执行任务的描述,以及目标输出图像。这可能是迄今为止体量最大的同类数据集,而 Emu 模型也不负所望,带来了前所未有的高忠实度与图像编辑质量。在评估当中,Emu Edit 显示出优于原有方案的出色性能,在一系列图像编辑任务的定性与定量评估中都创下新的纪录。

3 视频生成技术背后的争议

对于 Meta 的这两项最新研究成果,有网友给予了肯定,认为这是一项巨大的进步,人类距离“一句话生成一部电影”将不再遥远,未来已来。

网友 dougmwne 表示,Emu Edit 效果拔群,《星际迷航》里的场景已经由此成为现实。网友 bane 则认为“很科幻”:


随着这些模型的出现,我坚持认为当《星际迷航》里的角色下达“编程”指令时,他们使用的就是经过迭代的提示词,而计算机则通过一系列优化聚合这些提示词,再进一步向曲率模型 / 全息甲板模拟 / 传输过滤器 / 生物床病原体检测器等下达指令,无需做更具体的描述……哎呀,这不就是 NixOS 的声明式构建吗?


而每当需要对指令进行重新编程的时候,只要添加或变更一些提示词即可实现不同的效果。


如果角色需要向计算机中添加新数据时,使用新输入数据对基础模型做微调就行。所以说……我感觉很科幻、很爽。

也有网友对此表示担忧,AI 如今已经这么厉害了,真的不会取代人类吗?网友 morph123 反问道:为什么这帮搞 AI 研究的最后总要强调“这不会取代人类”?这话他们自己信吗?

如今,视频生成技术早已不再新鲜。不仅 Meta 公司此前做过这方面的尝试,谷歌也有类似的方案。此外,Runway 等一众初创企业甚至开发出了商业服务。

但与此同时,对于视频生成技术的争议也从未停止。一方面,AI 虚假视频的制作和传播屡禁不止,虚假视频的滥用可能触犯法律,如著作权和肖像权等。另一方面,这类生成工具很可能会夺去动画师和艺术家们的饭碗。Meta 和其他生成式 AI 厂商当然会坚称,像 Emu Video 这样的工具是在增强人类艺术家、而非将其彻底取代。但这只是种过于乐观、拒绝面对现实的说辞——面对更低的成本,企业自然会做出更有利于自己的选择。

今年早些时候,Netflix 就在一部三分钟的动画短片中使用了 AI 生成的背景图像。该公司声称,这项技术有助于解决动画行业的所谓劳动力短缺问题。但为什么会造成劳动力短缺?当然是工资太低、工作条件又太过艰苦。有了 AI,企业更没必要改善从业者的待遇了。

其他类似的争议还有,漫威《秘密入侵》片尾字幕的制作方承认使用 AI(主要是文本到图像工具 Midjourney)来生成其中的大部分画面。剧集总监 Ali Selim 认为使用 AI 符合该剧的立意主旨,但大多数艺术家社区和粉丝均表示强烈反对。

未来甚至连人类演员都将被替代。最近,美国电视和广播艺术家联合会 (SAG-AFTRA) 领导罢工的主要原因之一,就是企业使用 AI 创建数字肖像。出口公司虽然最终同意向演员支付 AI 生成肖像的费用,但随着技术的发展,这种脆弱的平衡是否会被再度打破?答案很可能是肯定的。更糟糕的是,部份 AI 工具往往是用艺术家、摄影师和电影制作人的作品训练而成,而且过程中根本就不会通知或者补偿这些原创者。

参考链接:

https://ai.meta.com/blog/emu-text-to-video-generation-image-editing-research/

https://news.ycombinator.com/item?id=38291139

https://techcrunch.com/2023/11/16/meta-brings-us-a-step-closer-to-ai-generated-movies/

声明:本文由 InfoQ 翻译整理,未经许可禁止转载。

今日好文推荐
ClickHouse 彪悍发言:云数仓死贵死贵的,Snowflake 这种就不应该成为当前主流!
“谷歌有谷歌的规矩”丢掉 LangChain、像 Docker一样编排大模型应用程序:这支十余人的年轻创业团队如何在2个月做出一个LLMOps平台?仅凭 7 页 PPT 拿下 1 亿美元融资、半年后估值超 10 亿!“欧洲 OpenAI”杀疯了
 内容推荐
模型风行一年多,创业新秀们都有哪些故事?实际落地中,软件产品中的 AIGC 能力又如何?本期《中国卓越技术团队访谈录 & 架构师特刊》中,LeptonAI、智谱 AI、Dify.AI 和京东云言犀团队深度分享了他们的创业思路和产品经验,来自网易、百度、广推科技等企业的技术专家,也深入探讨关于 AIGC 编程、算法及应用等话题。

现在识别图中二维码或点击“阅读原文”即可下载电子书,查看更多、更详细的精彩内容!


读者福利

👆 互联网行业再进化——云上AI时代 👆
继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存