Runway的Gen3付费开放,Sora的“期货”还能顶多久?

图片


企业群雄角逐,

业内普遍认为视频生成模型仍处于早期发展阶段。



编辑|易瑾


7月2日凌晨一点多,一条消息激发了博主卡兹克AIGC群里的聊天热情。


大家的激动源于7月2日凌晨,著名生成式AI平台Runway在官网宣布,其文生视频模型Gen-3 Alpha向所有用户开放使用。而前几日,Runway还只向部分用户提供了使用权限,社交平台一片羡慕之声。


图片


根据Runway官方显示,可以选择按月或者按年付费,标准版12美元/月,按年则是144美元/年,每月获得125秒的生成视频。另外还会有专业版、无线版和企业版的计费计划,分别是28美元/月、76美元/月、125美元/月。


Runway“回归”


去年11月更新了一次Gen2后,Runway近半年的时间都无动静。在这期间,OpenAI的Sora、生数科技的Vidu等悉数登场。


在业内一度以为Runway会不会被淘汰之际,2024年6月17日,Runway在其官网宣布推出新一代文生视频模型——Gen3 Alpha。


据介绍,与Gen2相比,Gen3 Alpha在保真度、一致性和运动性方面有了重大改进,并朝着构建通用世界模型迈出了重要一步。Demo的视频一经公布,引起了诸多网友围观,并有人称:Runway回归了。


直到6月的最后一天,Gen3 Alpha面向部分超级合作者开放,并有创作者在第一时间拿到了内测资格。闲人一坤就是其中之一,其在视频号上发布了一个Gen3生成的视频,并且与快手可灵生成的视频做了对比。他表示Gen3的镜头语言感更好,但动作变形相对比较大。


图片

来源:视频号截图


在社交平台上也有不少博主,将Gen3生成的视频和Sora进行了对比。然而自Sora生成的视频展出至今,已经过去了四个多月了,并没有向大众公开。有业内人士称,Sora再不公开发布,“期货”已经不够用了。


图片

来源:B站截图


2天时间不到,Runway宣布全面开放使用,使用方法相对基础,登录官方网站就会看到Try Gen3的界面,点击进去选择自己所需要购买的套餐即可。编辑界面也相对简洁,在屏幕上点击Get started就能快速进入,进入后输入描述文本即可。


值得注意的是,在搜索平台搜Runway的时候,会出现诸多入口,其中有一个点击进去则是AI Sorabot,在首页的功能说明处,还标明接入了Runway、Pika等视频生成模型。


另外有一个点进去则是MJ中文站,文生视频入口除了Runway、Pika外,甚至出现了Sora。



该网站采取VIP付费的模式,有月度套餐、季度套餐和年卡套餐,且套餐还会分为基础会员、高级会员、超级会员。



Runway成立于2018年,是一家AI视频编辑软件提供商。2023年2月,Runway提出了首个AI编辑模型Gen1,用户可以在原视频基础上进行编辑操作。


同样在2023年2月,在很多用户还没拿到Gen1内测名额时,Gen2发布了。相比Gen1,Gen-2在实现更高保真度和一致性的同时,增加了Multi-Motion Brush功能,允许用户在一张图像上选择多个区域,并对每个区域设置不同的运动速度参数。


再到2023年11月,Runway宣布更新Gen1至Gen2版本,分辨率提升至4K。如今Gen3发布,并全面开放,给了市场很大的惊喜。据介绍,Gen3的特色点主要包括:90秒内快速生成10秒视频、并行生成多个视频、动作笔刷、高级摄像机控制等,并表示即将推出用于精细控制结构、风格、动作的工具,


此前,Runway CTO Anastasis Germanidis发帖表示,在多模态模型中,“控制”(即可控性)是关键,视频扩散模型(Vedio Diffusion Models)还远远未达到通过Scaling带来的性能提升;并且这些模型在学习预测视频的任务时,构建了视觉世界的强大表征,因此对于这些表征的把握至关重要。


在Gen3宣布全面开放后,有用户评价这是目前市面上可以使用的AI视频的Top 1,Runway的创意总监也在社交平台上发文称Runway创造了历史,将再次改变文生视频赛道。


值得注意的是,此次对外开放的Gen3采取了付费模式,而此前的两代均提供免费使用。有业内人士开玩笑地说,估计也是害怕像Luma一样,在免费开放的第一天就直接崩了。


图片


Luma崩了的事情还要回到6月13日,这家初创公司在当日宣布推出其文生视频/图生视频模型Dream Machine,并免费向公众开放。消息一出,瞬间吸引了大批用户前来使用,服务器一度被挤爆。


据公开资料显示,Luma的主要业务为使用AI技术生成高质量的3D角色和场景,公司的技术和产品包括使用深度学习和计算机视觉算法的Text-to-3D(文字生成3D)、Video to 3D(视频生成3D)、Image to 3D(图片生成3D)等技术以及开发的LumaNeRF算法,可以用于快速生成各种类型的3D模型。


视频生成界群雄角逐


在过去的6月份,国外AI视频生成企业大展身手的同时,国内生成式大模型也在相继更新和上线。


6月6日,快手推出了文生视频大模型“可灵”。同日,极佳科技联合清华大学正式发布中国首个端侧可用的Sora级视频生成大模型“视界一粟YiSu”,拥有模型原生的16秒超长时长,并可生成至1分钟以上。


可灵的发布,引起了诸多创作者的关注,发布一天不到,就出现了“一号难求”的局面。据介绍,可灵大模型为快手AI团队自研,具备诸多优势:能够生成大幅度的合理运动;能够模拟物理世界特性;具备强大的概念组合能力和想象力;生成的视频分辨率高达1080p,时长高达2分钟,且支持自由的宽高比。


6月12日,美图奇想大模型升级到V5,涵盖图像大模型、视频大模型等。美图公司创始人、董事长兼首席执行官吴欣鸿在接受媒体采访时表示,作为一家以美为核心的公司,我们对效果有着极高的要求。只有自研视频大模型,才能以高标准不断提升效果。同时,只有将模型与产品深度融合,做到模型即产品,才能给用户最好的体验。


6月21日,华为盘古大模型5.0发布,其中多模态能力里就包括了视频生成技术。华为常务董事、华为云CEO张平安介绍,视频生成技术应用到了自动驾驶的训练环节。自动驾驶应用里的视频生成,最怕天马行空。比如多个行驶视角的视频合并时,车子可能会莫名其妙消失,这样的视频明显不能用于自动驾驶算法训练。


实际上进入2024年以来,AI视频生成界整体呈现“群雄角逐”的局面,大厂入局外,创业公司也在前赴后继地进入,比如爱诗科技、右脑科技、智象未来、布尔向量、MewXAI等公司。


但这种你追我赶的架势,目前并没有谁是“冠亚季”军出现,且大家普遍认为,视频生成模型还处于一个早期发展阶段。潞晨科技创始人兼董事长尤洋曾指出。“市场上尚未出现一个完全成熟且广泛可用的视频生成应用。”


Vidu发布时,生数科技首席科学家朱军也表示,现在的进展还处在初步阶段,希望与国内优质单位合作,共同实现技术进步。


综合自企业官方、华为街见闻、中国经营报等