不限次数,完全免费!阿里通义万相AI生视频评测:更懂中国风,且能加音效
AI先锋官官方
2024-09-20 21:44
发布于北京
作者
|
袁博
来源
|
AI先锋官
就在昨天云栖大会下午的主会场屏幕上,随着一条视频播放,阿里云CTO周靖人宣布通义万相全面
升级,AI生视频功能正式上线啦!
现在,官网
和App上都可以立即试用
。
注意!手机端App不限次数,完全免费,PC端,每天登陆送50个灵感值,可生成10次。
它支持文生视频和图生视频,最长能够生成5秒的视频,每秒30帧,分辨率为720P。
看到这是不是感觉与其他视频模型没两样?那你就错了,
它在生成视频的同时还能生成与画面匹配的音效
,
这是绝大多数AI视频模型做不到的。
这背后是得到了阿里全自研的视觉大模型的加持,并且采用了业界领先的核心架构“Diffusion+Transformer”。
据介绍,通义万相视频生成大模型集成了多项创新技术,能有效解决画面表现力和大幅度运动等视频生成技术难题。针对运动生成和物理模拟等难点优化算法,实现了大幅度主体运动和运镜控制,并有效模拟真实世界物理特性;设计了高压缩比、高质量视频VAE框架,有效降低视频信息冗余,并保持高质量视频重构能力。
并且,通义万相更懂“中国话、中国风”,尤其在中式传统元素、风格化视频生成上表现更好。
首先是文生视频功能,用户输入任意文字提示词,即可生成一段高清视频,支持中英文多语言输入,并可以通过灵感扩写功能智能丰富视频内容表现力,它还支持16:9、9:16、3:4等多种比例生成。
既然它更懂中国风,那我
们就先从
“白雪皑皑的山巅之上,一座雄伟的中国古典建筑巍然屹立,四周云雾缭绕,仿佛仙境。写实风”
这个提示词开始吧。
不知
是不是因为刚刚发布比较火爆的原因,通义万相目前需要10分钟左右才能生成
。
通义万相
可灵
清影
可以看
到,通义万相生成的塔给小编一种《黑神话:悟空》游戏中小西天关卡里塔的感觉,并且它还配有环境音
,可灵看起来更加真实,清影则更像动画。
接下来是人物:
提示词:黑发古风女孩,快速转身微笑,国风发髻,纯色高清。
通义万相
可灵
清影
在人物上整体来看都生成的还不错。
吐槽:清影是不是把“黑发古风女孩”理解成了“黑白古风女孩”,最近看了些恐怖片,再看还有点瘆人嘞
。
无厘头想象画面:
提示词:在北极大陆上工作的北极熊邮差。
通义万相
可灵
清影
不难看出,清影更适合做儿童动画片,可灵更偏向写实,而通义万相,你这三只脚的北极熊是怎么回事?
然后是图生视频功能,它支持用户将任意图片转化为动态视频,按照上传的图像比例或预设比例进行生成,同时可以通过提示词来控制视频运动。
先来一张当下爆火的《黑神话:悟空
》中四妹的图片。
《图片来源:黑神话悟空官网》
提示词:用手轻轻拨开头发
通义万相
可灵
清影
怎么说呢,集体翻车
,通义万相的狂风、可灵无处安放的手还有清影那不知多少根手指的手,但倒也符合了四妹蜘蛛精的形象
。
再来一个,不带提示词小镇的图片试试。
通义万相
可灵
清影
虽然小编没带任何提示词,但只有通义万相懂老夫的心啊
,它在路上添加了一些行人,而可灵则只是让图像动了起来,清影做的也不错,它体现了房屋中的清醒,更有故事感,只不过,这房子里住的是小矮人吗,长相好怪异
。
总体来说,通义万相在国风方面表现确实不俗,可灵在写实方面非常出色,清影在文案理解上做的不错,只是在手指和人物面部上还需努力。
各有各的优点。
但通义万相不像
可灵需要花费灵感值去生成,它APP端
可以无限次数免费生成
,还等什么,赶快去试用吧。
.END.
往期文章回顾
查看原图 388K