13.8%和13.11%哪个大?这道小学数学题,AI竟也没答对!

7月13日,最新一期的《歌手》公布排名:孙楠得票13.8%,外国歌手香缇莫得票13.11%。这引发了一些网友对排名的质疑。
图片
有网友认为13.11%大于13.8%,因此,香缇莫的得票率比孙楠高。
随后,关于13.8%和13.11%大小比较,一度成为了网络上的热门话题。
图片
这样一道简单的数学题,还难倒了不少大模型。 
“9.11大于9.9”
这一类数学题,AI有时答对有时答错
有媒体报道,ChatGPT等国内外AI大模型,在回答这道数学题时出现了胡说八道的现象。
图片
橙柿记者们也去提问了几家AI大模型,结果显示,有不少AI模型是答错的,还有一些AI在答题时出现了时对时错的不稳定情况。
记者先提问了kimi,发现它给出了正确的答案,还举例分析让结果看起来更加直观、更好理解。
图片
而另一位记者去提问时,却发现,它的反应非常“冷淡”,且在另一道相似的数学题“9.11和9.9哪个大”中,出现了错误答案。
图片
kimi的答案时对时错
另外,记者还询问了文心一言、讯飞星火等AI模型,大部分的AI回答正确并给出了详细的答题过程。
图片
会翻车但能“自我修正”
据南方都市报报道,AI模型智谱清言也曾给出过错误答案。
图片
智谱清言称,13.11在百分位上比13.80大。
智谱清言是通过比较小数部分得出错误结论,称“13.11的百分位是1,而13.80(即13.8)的百分位是0。在这种情况下,1大于0。”“简而言之,13.11实际上等于13.80+0.01+0.01,这使得它比13.80(即13.8)大。”
当橙柿记者向它提问时却发现,智谱清言已经能得出正确的答案,并试图分析网络上有人得出错误答案的原因。
在比较13.8%和13.11%时,13.8%是更大的数值。
这是因为当比较两个百分数时,我们实际上是在比较它们所代表的小数。13.8%相当于0.138,而13.11%相当于0.1311。显然,0.138大于0.1311,因此13.8%大于13.11%。这个话题似乎在网络上引起了广泛的讨论,可能是因为有些人错误地将13.8%理解为13.08%,从而得出了错误的结论。
图片
从以上这些结果中,我们发现AI模型在回答这样一道简单的数学问题时,也存在一些错误和不稳定性。
网友评论:
雨落凡尘:数学都是体育老师教的吧?
。:今天我让kimi统计表格求和,他给我的结果是215,我自己算了一下是220。我告诉他错了,他又算了一遍没有。我告诉他应该是220,他说,对不起,算错了是220。我又给他说,不对,应该是230。他竟然给我说,没错是230。
令狐冲:说明训练方法有问题。
蒋道理:这个还要讨论吗,我差点怀疑人生了,这世界出现了bug吗?
做数学题,AI会出现“幻觉”
据橙柿此前报道,今年的阿里全球数学竞赛中,有AI选手参赛但全军覆没。
AI数学成绩不佳,核心是因为基础模型的数学能力有限。虽然在面对解答题和证明题时,AI可以通过知识检索等方式拿到基础分,但一旦涉及到后续的深入分析,AI就开始出现“知识幻觉”。尤其是在面临选择题时,多数AI出现了“蒙题”的现象。
哈尔滨工业大学和华为的研究团队发表的综述论文认为,模型产生幻觉的三大来源:数据源、训练过程和推理。大模型可能会过度依赖训练数据中的一些模式,如位置接近性、共现统计数据和相关文档计数,从而导致幻觉。此外,大模型还可能会出现长尾知识回忆不足、难以应对复杂推理的情况
另据南方都市报道,有技术专家分析,在人们看来,这是一道小学生的数学算术题,但大模型不一定这样认为,它更经常见到这些数字是包含在软件版本号、股票、基金或者汇率等信息里,它们出现时跟数字大小本身没有关联。而大模型看到这样一组数字,意识不到应该做双精度浮点运算。
还有业内人士提出了一种解释称,这是大模型在输入词和标点向量化排序时,没有把顺序或者关联逻辑弄对,忽略了小数点也是数字的一部分
你去提问过AI模型吗?都得到了一些什么答案?来评论区分享一下吧!