📦 5 Parts + Conclusion
👉 滑动
PART 01
大模型与词元
LLM · TOKEN
PART 02
把话说清楚
PROMPT 工程
PART 03
模型如何记住
CONTEXT 上下文
PART 04
压缩后的记忆
MEMORY
PART 05
读懂私人资料
RAG 检索
PART ///
写在最后
一条线串起
嗨,朋友们,大家上午好。「搞懂一个词」系列文章已经更新了 4 篇,我们知道了什么是提示词、什么是大模型,并且进行了实践操作,对这两个词的理解更加深刻。
文章分享出去后,我也收到一些好评,谢谢朋友们的支持和鼓励,后续更新会更加努力。
— 「搞懂一个词」已更新的系列文章
— 读者朋友们的好评与鼓励
然后我对这些进行了复盘,发现了一个问题:这样一个词一个词地写,其实在真实使用 AI 的场景里是很割裂的,知识点也是散的,不成体系。
提示词、大模型这两个词容易单独拎出来说,但像 agent(智能体)、token(词元)、skill(技能) 等,就不太好单独写,需要把它们串起来。
今天,换个讲法
用「湖北避暑」这件具体的事,把 6 个词一次串清楚
01
PART
大模型与词元
LLM & TOKEN
现在湖北的天气太热,我们想要去避暑,于是打开豆包的对话框,说了一句:湖北天气太热了,我要去避暑,你有什么推荐。豆包很快给了一段答复,这背后的核心就是 LLM(大语言模型)。
— 豆包对话框:湖北天气太热了,我要去避暑
LLM 将你的话拆解为 token(词元),它既不是一个字,也不完全等于一个词,而是大模型理解文字的最小单元。每个 token 对应着一个数字,叫 token id。
— 大模型如何把文字拆成 token
大模型通过计算,预测出一个 token 后面应该接哪一个,从而补齐出完整的回答。
在这个过程中,我们的提问就是 Prompt(提示词)——这正好引出下一个词。
02
PART
把话说清楚:提示词
PROMPT
我们随口一问,豆包其实回答得很浅显。换个问法试试:
PROMPT 预算 3000,不要去人多的地方,时间为一周,按天规划行程,要有具体的时间安排
— 换个问法后的具体行程需求
这样豆包给我们的回答就会更具体。这种把话说清楚的方法,就是 Prompt Engineering(提示词工程)。
— 豆包给出的详细一周行程
03
PART
模型如何「记住」你
CONTEXT
咱们做规划不可能一次性把话说完。我们补充规定了预算、说了要求,豆包很快就能调整整个推荐方向。
它是如何记住的?每次发消息时,系统都会把之前的对话一起打包发给大模型,这就是 context(上下文)。
但大模型理解上下文的长度有限。随着对话不断积累,模型会忘记最开始的内容。
04
PART
压缩后的长期记忆
MEMORY
一个常见的做法是,让模型把之前的对话做一次压缩总结,只保留关键信息。这个被压缩过的关键信息,就是 Memory(模型的记忆)。
05
PART
读懂你的私人资料
RAG
接着问豆包:看看我之前收藏的避暑攻略,帮我重新规划行程。你看,模型并不知道我们收藏的攻略是什么。
— 豆包对话框:帮我用收藏的避暑攻略重新规划
这时候就需要 RAG(检索增强生成)——让模型能读取我们的私有资料,回答更真实可靠。
— RAG 工作流程示意
它先把资料切成小片段存在知识库;提问时,系统检索出最相关的片段,作为背景资料和问题合并。模型阅读这段增强后的上下文,生成准确回答。
我们平时用到的 AI 客服、AI 问答助手,背后都是 RAG 技术。不过 RAG 只是让模型回答得更好,无法真正干活。
∞
LAST
写在最后
ONE SCENE, SIX WORDS
今天我们一口气把 LLM、token、prompt、context、memory、RAG 这六个词捋了下来。它们单独拎出来,个个都挺唬人;可一旦放进「我想去避暑」这件具体的事里,就自动排成了队。
我们说的话被拆成 token,交给 LLM,配上 prompt 和 context,再加上 memory,最后用 RAG 补上私人攻略。
原来那些散落的知识点,只要放进一个真实的场景,就全部连上了
六个词,一条线——下次聊 agent 和 skill,我们就有了地基
既然看到这里了,如果觉得有用,随手点个赞、在看、转发三连吧。
THANKS FOR READING