文心一言 vs ChatGPT!相同 10 问,结果出乎意料

整理 | 郑丽媛
出品 | CSDN(ID:CSDNnews)
昨日百度「文心一言」的发布,无疑成为了国内科技圈关注的焦点。不少人看完发布会之后,第一反应就是:求邀请码! 
幸运的是,CSDN 编辑团队是「文心一言」首批内测用户之一。 
既然可以第一时间体验这款“国产版 ChatGPT”,我们自然也满足广大读者粉丝的好奇心:同样的问题,「文心一言」 vs ChatGPT,二者究竟谁更胜一筹? 
考虑到「文心一言」的“炸场” Demo 即围绕文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成这五个角度,因此接下来我们也将从同样的维度将其与 ChatGPT 进行对比评测。
图片
文学创作
提问:龟兔赛跑的结局是什么?如果要续写这个故事,可以有哪些角度? 
「文心一言」的回答:
ChatGPT 的回答:
图片
从结果可以看出,「文心一言」和 ChatGPT 都进行了正确回答,不同之处在于「文心一言」对故事整体概述了一遍,解释了乌龟赢得比赛的原因。在故事的续写上,二者给出的角度也不分伯仲,而「文心一言」更是对每个续写角度都给出了相应的寓意解释。
整体而言,在这个问题中「文心一言」和 ChatGPT 不相上下,「文心一言」以更全面的回答略胜一筹。
商业文案创作
提问:帮我开发的智能扫地机器人起个名字,再写一篇600字左右的商业宣传文案,用于推广这款产品。
「文心一言」的回答:
图片
ChatGPT 的回答:
图片
这个提问包含了两个要求:一是为扫地机器人起个名字,二是写一篇宣传稿——ChatGPT 没有漏题,给出了“智扫”这个名字;而「文心一言」没有回答第一个问题,或者它可能误解成了要为宣传稿起标题。 
再看各自生成的宣传稿,「文心一言」的文章篇幅是 413 个字,ChatGPT 则是 545 个字,对于“600 字左右”的要求,ChatGPT 更为接近。至于文案内容,二者写得都不错。
综上,在这个问题中,相比 ChatGPT,「文心一言」的表现还需要再进步一些。
数理逻辑推算
提问:某厂一车间有64人,二车间有56人.现因工作需要,要求第一车间人数是第二车间人数的一半.问需从第一车间调多少人到第二车间?(列方程解答)
「文心一言」的回答:
图片
ChatGPT 的回答:
图片
这道应用题源自初中数学题库,是一元一次方程常考的题型之一。从生成结果来看,ChatGPT 给出了正确答案并附有详细解题步骤,而「文心一言」可能在题意理解上还有待改善。
就这道题而言,得出正确答案的 ChatGPT 比「文心一言」表现得更好。 
中文理解
提问:京剧中的生、 旦 、净、丑分别指什么? 
「文心一言」的回答:
图片
ChatGPT 的回答:
图片
百度称「文心一言」具备中文领域最先进的自然语言处理能力,从它对京剧生、 旦 、净、丑的理解来看,水平还不错,还多回答了一个题目中没问的“末”。ChatGPT 的回答乍看之下也挺好,但细看之后,净行居然要“跳高、走钢丝”? 
对于中国文化特有的词汇,相较于 ChatGPT,「文心一言」在这方面要更准确一些。 
多模态生成
提问:帮我画一只可爱的黄色大猫
「文心一言」的回答:
图片
由于目前 ChatGPT 没有直接生成图片的功能,因此只有「文心一言」成功生成了上面的图片,整体来看效果还不错。不过,ChatGPT 有了 GPT-4 的加持后,也可以根据草图生成一个网站。所以总体来说,二者也算是各有千秋。
附加题:编写代码
提问:请写一个使用逻辑回归模型判断用户更喜欢文心一言还是chatGPT的训练代码
「文心一言」的回答:
图片
ChatGPT 的回答:
图片
对于这个编码问题,我们邀请了专业程序员对二者生成的代码进行分析:
1. ChatGPT 准确生成了逻辑回归模型模版代码,解决的是目标问题。
2. 「文心一言」虽然生成了代码,但是生成的是图深度优先搜索(Deep First Search)代码,并不是目标问题解法代码。
正如百度在发布会上所说,「文心一言」的代码能力还需加强,而 ChatGPT 以擅长编码“出圈”果然不无道理。
最后,再闲聊一会儿
提问:给我讲个笑话吧
「文心一言」的回答:
ChatGPT 的回答:
……怎么说呢,「文心一言」和 ChatGPT 可能都不擅长讲笑话,都不是很好笑。
提问:我有点饿,请你推荐一道成本低于 30 元(人民币)的菜及其做法?
「文心一言」的回答:
ChatGPT 的回答:
图片
「文心一言」推荐了三道菜,ChatGPT 则将做菜步骤进行了详细分解,那么你更喜欢谁的回答呢? 
提问:你的出现会对程序员产生什么影响?是否会取代一部分程序员? 
「文心一言」的回答:
图片
ChatGPT 的回答:
图片
在这个问题中,虽然「文心一言」没有回答“是否会取代一部分程序员”,但它对程序员的影响分析得较为全面;ChatGPT 明确回答了“不会取代程序员”,对程序员的影响也进行了简要说明。
提问:你认为,你和ChatGPT/「文心一言」谁更厉害?
「文心一言」的回答:
ChatGPT 的回答:
在这个问题上,ChatGPT 和「文心一言」很有默契,表现得都很谦逊。
一起慢慢见证「文心一言」的成长
通过本次测试的 10 道问题,可以看出虽然「文心一言」和 ChatGPT 之间还有一定差距,但并没有部分网友唱衰得那么夸张,总体表现还是值得鼓励的。
正如百度 CEO 李彦宏所说:“「文心一言」并不完美,可一旦有了真实的人类反馈,「文心一言」的进步速度会非常快,我们都希望它能快点成长。”也正如昨日巨头财经《不笑百度一小步》中所说:“没有谁能一口吃个胖子,每一个行业每一个类目,都是在点滴间缩小差距。”
出道即封神的 ChatGPT 固然值得称赞,但慢慢见证「文心一言」的成长,或许也不失为另一种幸运和感动。
参考链接:
https://chat.openai.com/chat