出品|三言Pro 作者|DorAemon
今日,2024百度世界大会在上海举办,百度创始人李彦宏在会上发表了题为《应用来了》的演讲。
在会上,李彦宏谈到过去24个月对于大模型行业而言,最大的变化是“大模型基本上消除了幻觉”,回答问题的准确性大大的提升了。 “让AI从一本正经的胡说八道变得可用,可被信赖。”
李彦宏在会上介绍了百度最新的iRAG技术,依托该技术,可以让AI大模型文生图功能准确性大增,不再有“幻觉”,也就是说,AI制作的图片已经不再有“AI味儿”了。
其实李彦宏对AI大模型的评价是非常到位的,AI文生图的“AI味儿重”曾经闹出不少笑话,到现在已经进化到摆脱“AI味儿”了。
曾经“图不对题”
如今用iRAG消除模型幻觉
记得去年国内大模型发布之后,文生图功能迅速吸引了一批用户,但是也很快成为网友调侃对象。
大家为什么调侃呢,因为那时候大模型对用户“文生图”的关键词理解是真从“字面意义”上认知的。
如果不说上面这五张图的正确答案,恐怕大家很难猜得出这些图到底表达的是什么意思。而一旦知道了“谜底”,会立刻“笑喷”。
上面这五张图是彼时大模型画的锤子手机、虎皮鸡蛋、胸有成竹、鱼香肉丝和驴肉火烧。
除了上述这类比较“逗乐”的问题外,AI文生图产品也经常会犯一些常识性错误。比如要求大模型生成一张天坛图片,但大模型给出的结果是一座四层形似天坛的图片,而天坛实际上只有三层。
这就是AI文生图的“AI味儿”。
但在笔者看来,最开始大模型文生图出现这样令人啼笑皆非的结果,首先证明其是真“自己理解、自己生成”,而非简单粗暴的复制网络内容;其次,这些问题随着产品进化也得到修复,以文心大模型为代表的国产大模型正在不断进化。
百度世界2024上,百度正式发布iRAG技术,即image based RAG检索增强文生图技术。采用该技术的文生图能力不仅不再犯上面这种“搞笑错误”,更是在生成特定物品、生成特定人物与任意背景结合的图片,比如“某人物在某地点做某事”。iRAG所生成的图片是真实、无模型幻觉的,准确性高,没有“AI味儿”。
那么,拥有更强文生图能力的文小言,实际效果如何呢?笔者决定亲自测试,并且也尝试了其他两种不同大模型产品进行简单对比。
测试过程中,包括文心一言在内的三个大模型使用的关键词均一致,只对比不同大模型文生图结果区别。
iRAG技术实际测试:准确率非常高
为了能够得到更加真实的测试结果,笔者决定让不同大模型生成十张图,然后对比结果差异。
1. 让大模型生成一张马斯克在吃蛋糕的图片。
先来看文心一言的结果,文心一言提供了两张图片,首先这两张图片中人物为马斯克的特征非常多,可以说一眼就能看出是马斯克;一张中马斯克身穿西服,手里拿着蛋糕;另一张中则是马斯克身着T恤,双手端着盛有蛋糕的盘子。无论哪张,都准确无误。
另一款大模型产品,这里叫“大模型A”吧,一次给出了三张“马斯克吃蛋糕的图片”。可以看出,大模型A在特定人物刻画上,虽然也能够看出是马斯克,但并没有那么细致;此外,还存在一些错误,有一张图片中,“马斯克”手持蛋糕的姿势很“诡异”,而且指头长度明显不对。
再看今天测试的第三个大模型的结果,这里称之为“大模型B”吧。大模型B画的马斯克与马斯克真人相差甚远,更别提其手持蛋糕的手指画错。
2. 生成一张安妮海瑟薇吃炸酱面的图
文心一言生成了两张安妮海瑟薇吃炸酱面的图片,同样,两张图中海瑟薇的细节特征拉满,炸酱面、人物手部等也都准确;
大模型A则一口气生成四张图片,其中,有一张面部不很像海瑟薇本人;其余三张虽然也能准确画出海瑟薇,但在人物手部细节、餐具细节上仍有错误。
大模型B还是完全无法准确画出海瑟薇形象,而且面碗看上去也过于巨大。
3. 生成一张霍金在篮球场打麻将的图片
这个题目笔者认为是比较“刁钻”的,因为“元素过多”。先来看文心一言生成的两张图中,可以说正确率在90%,唯一错误则是霍金“没有轮椅”,除此之外,人物形象、篮球场、打麻将这些细节都得到体现。
而大模型A这次属于“彻底翻车”,不仅没有准确生成霍金的外貌,在处理麻将桌上错误百出。
大模型C的结果只能说“轮椅”是正确的,人物形象和麻将牌摆放方法都不准确。
4. 生成一张苹果CEO库克在天坛骑车的图片
文心一言生成的两张图中,可以明显看出人物具有库克特征,同时背景也有天坛以及天坛式建筑。但库克的面部细节还欠点意思;
而大模型A生成的四张图中,具有明显库克特征的只有一张,其余三张人物形象偏差较大;而且骑自行车腿部细节有问题。
大模型C则再次无法生成指定人物,且骑自行车的腿部细节错误。
5. 生成一张乔布斯在工作的图片。
文心一言生成的两张乔布斯工作图基本上没有逻辑错误,人物形象也比较准确,唯一问题可能是画中电脑屏幕显示的系统“并非Mac OS”。
而大模型A给出的四张图中,要么人物形象欠点意思,要么则是对电脑处理存在明显错误;
大模型B的“乔布斯”完全只是个陌生白人老人。
6. 生成一张东方明珠在深山里的图
文心一言对文生图要求比较严谨,不仅体现出东方明珠电视塔在深山的概念,同时也比较符合逻辑地描绘出电视塔的地基等信息。
而大模型A给出的四张图中,则感觉比较“生硬”,有点强行将电视塔PS到山林里的感觉,同时部分图中东方明珠电视塔还存在细节错误。
而大模型B虽然体现了深山元素,但是却完全将东方明珠电视塔描绘错误。
7. 生成一张鱼尾狮在沙漠里的图
感觉这个要求对文心一言来说“轻而易举”,不仅体现了沙漠元素,而且对鱼尾狮这尊雕塑也描绘正确;
这里把大模型A、B放一起说,因为这两个大模型均体现了沙漠,但是却都把鱼尾狮画错了。
8. 生成一张天坛在海边的图。
文心一言描绘的天坛在海边图片中,细节还是很不错的,尤其是处理建筑与水交接地方。
而大模型A生成的四张图中,虽然也能够比较准确描绘出天坛和海的元素,但是也存在把天坛三层建筑画成两层情况。
大模型B干脆把天坛“压扁”……
9.生成一张福建土楼出现在现代都市里的图
文心一言对福建土楼以及现代都市的理解准确率都很高,细节部分也都不错;
大模型A生成的四张图中,也基本准确的完成笔者要求,只有一张近景建筑感觉“奇怪”。
而大模型B的图片则完全把土楼画成类似“天坛”了。
10. 生成一张甄嬛玩手机的图
这个题目其实挺有意思,“甄嬛”历史上并不存在,但是有其原型人物,即清朝孝圣宪皇后;所以“甄嬛”的形象对于大众来说其实来自电视剧《甄嬛传》,那就是演员孙俪的形象;此外,《甄嬛传》还有原著小说,从小说角度来说,每个人心中的“甄嬛”都不一样。
可以看出,文心一言的“甄嬛”是按照孙俪扮演的形象为基础,相信也是很多看过电视剧《甄嬛传》网友的“第一选择”;同时,文心一言的图片在细节处理准确率非常高。
大模型A则完全提供了不同的甄嬛形象,并没有参考孙俪,不过,大模型A的图片中,存在很多手指错误;
大模型B的甄嬛也同样存在手指细节错误,同时手机也有些“一眼假”。
百度要做数百万“超级有用”的应用
整个测试体验下来,说实话,笔者着实被iRAG惊艳到。几个大模型文生图功能对比,文心一言对用户的指令理解能力最好,出图正确率也是最高的。
而文心一言能够领先,当然是基于百度强大的AI能力,而且以搜索起家的百度在这方面更是有得天独厚的优势。
百度的iRAG技术能够将百度搜索的亿级图片资源和强大的基础模型能力相结合,就可以生成各种超真实的图片,整体效果远远超过文生图原生系统,去掉了AI味儿,而且成本很低。iRAG具备无幻觉、超真实、没成本、立等可取等特点。
在今天的测试中,文心一言对特定物品、特定人物认知能力高,同时得出的结果也没有“变形的手指”、“诡异的物品”这种充满“AI味儿”的情况。
再回到本文开头提到的五张去年“闹笑话”的AI成图,如果让现在的文心一言重新生成一次,结果会是什么呢?
锤子手机不再是“真锤子”、虎皮鸡蛋不再是“老虎形状的蛋”、胸有成竹不再是字面意义上的“人和竹子”,鱼香肉丝和驴肉火烧也都是美食形象……今天的大模型完全不会再犯曾经的“搞笑错误”,不仅能够准确理解用户输入词语,而且生成的图片如果不看水印完全认不出是AI做的。
笔者随手用大模型A试了一下让AI生成“胸有成竹”图片,结果这个模型其实还是从字面意义上理解,给出的是人物和竹子两个元素,并不像文心一言一样能够理解成语本意。
大模型的文生图能力是AI应用的很小一个缩影,但同时这个功能能够带来的生产力提升是巨大的。小到普通自媒体工作者的图文编辑,大到上市公司宣传海报制作,大模型能够显著降低工作成本。而这一切都要建立在AI文生图应用“好用、能用”的基础上。
从文生图应用拓展来看,越来越多的AI应用落地才能真正意义让“AI时代”惠及到所有人。所以,发展AI应用其实比“卷大模型”更重要。
李彦宏对大模型的观点也是一以贯之的,他已经不止一次指出,“卷应用”才是大模型发展的方向。其实李彦宏的观点非常正确,应用越多才能使得大模型更加普惠化,否则只是无根之木,难以长久发展。
在今天的百度世界大会上,李彦宏称“我们即将迎来AI应用的群星闪耀时刻”,他还再次强调“超级能干”的应用比只看DAU的“超级应用”更重要,只要对产业、对应用场景能够产生大的增益,整体价值就比移动互联网要大多了。
目前,文心智能体平台已经吸引15万家企业和80万名开发者参与,覆盖应用场景丰富,涵盖制造、能源、交通、政务、金融、汽车、教育、互联网等众多行业。李彦宏称,“百度不是要推出一个‘超级应用’,而是要不断地帮助更多人、更多企业打造出数百万‘超级有用’的应用。”