在和 AI 对话时,有些词能起到点石成金的效果。李继刚对此的解释是压缩和解压缩——一整本书、一个人、一种理论的智慧,其精华被压缩到一个词中;跟 AI 对话过程中,用对这个词,就能开启整个解压过程,AI 将精华悉数吐出。
类似的例子很多,刚哥经常感叹“用半小时找一个词”,词对了,结果就会惊艳。
有点像是绘图时用的风格种子。只要用上魔法数字,画面立刻就对味了。但语言的风格不像图画那样一目了然,无法像我做十万只猫的实验那样,随机生成,极速甄别。那怎样才能找到点石成金的“风格”关键词、大幅提升 AI 生成内容的质量呢?
上周我和一小学科学老师的交流,让我决定要把这方法挖掘出来。我们午餐时聊聊起“模式”,老师说这是 NGSS 总结的非常重要的七个跨领域概念之一,但特别难教——通常教材课件里给的例子也只是“规律”,和“模式”还是有差别。
我打开手机,开始问 AI 有哪些方法帮助小学生理解“模式”。果然,得到的方法都是在教“规律”。我要求不只是给“重复”或“循环”,无效;要求给出“类比”,开始出现一些“植物枝叶与人的家庭”之类的模式,但更多的是在“比喻”,和“模式”还有差异。
然后我加上了关键的一个词——同构。AI 生成的内容立刻就精彩了。 让 AI 再总结一下同构类比中的模式,多种多样非常清晰。
老师问我:“你是怎么想到“同构”这个词的呢?”我挠头:“这个词我常用,但我也真不知道怎样能让老师想到用它……”
刚哥说“read in, prompt out”。他能写出思考的七把武器,是因为有海量阅读的积累。没读那么多书的人,要怎么做呢?
今天得空,尝试了两个还算有效的方法。
首先,给后面的实验找基准:我尝试了朴素 prompt 的效果——能看出笑点,但隔靴搔痒没到位。
再加上 few-shots。也许是我找的例子不够精彩,效果看起来一般,反复试多次得到较好的结果也不过就下图。
有了基准,我开始尝试方法一:“让 AI 先说说”。
先让 AI 说出做这件事的基本要点,还可以追问、叠加要求,觉得 AI 回答中有不符合自己期望的也可以在追问中纠偏。
然后再让 AI 讲段子。有了前面输出的内容做铺垫,段子似乎质量好点了。是一个还算有效的简单方法。
有没有办法找到更能“点石成金”的词呢?。既然前面多轮已经遇到了很多差劲段子和相对好一点的段子,我决定让 AI 画维恩图。
方法二:让 AI 分析正反例
第一步:用朴素的方法生成若干例子
第二步:另起对话,挑选若干好例子和差例子(好例子可能需要人为编辑出来),让 AI 进行对比分析、找出正反例之间的异同。
第三步:另起对话,把正面要点添加到第一步的提示词中,重新生成更多例子。
然后:重复第二、第三步,直到正面要点中出现点石成金的词。
(这里需要另起对话的原因是我用的是四个固定的测试词汇,要避免对话内容相互干扰。)
第一轮,得到三个要点:有反转效果、共鸣感强、笑点明确,还不错。(因为缺少字体 AI 画的维恩图无法正常显示,光看文字也够了)
另起一段对话,把要点添加到提示词中。很失望,结果并没有改良,又得到好几个差段子的案例。
没关系,把差段子添加到对比案例里,又得到一个关键要点:真实反映。
再另起对话测试,这次稍好些多了一个好段子,但别的都还是差劲案例。
把这些案例继续喂给对比案例,这次找到点石成金的词了——反差,punch line。
再次另起对话测试,精彩程度大幅提升。
我的 GPT4O 次数用完了。刚试了下 4O-mini 的效果也还不错,但决定休息了,今天的实验就到这里。从原始朴素效果差劲的提示词,到找出我之前根本没想到的点石成金关键(反差、punch line),总共不过三轮。
这个方法应该是可以通用的。这次我用一句话段子做实验,是因为它足够简单判断正反例足够快。感兴趣的朋友可以拿你自己的需求来测试下。我相信还会有更多招数,期待后续我们一起来挖掘。