1 · 零基础前置知识

1.1 大语言模型是什么

「大语言模型」的英文是 Large Language Model，业内常缩写成 LLM。为了不制造理解障碍，这份文档后面一律写「大语言模型」全称，不用缩写。

抛开所有数学细节，一个大语言模型在使用时只做一件事：

就这么简单。它不是数据库，不会「查询」；它不是搜索引擎，不会「检索」。它是一个极其庞大的、通过阅读海量文本训练出来的「文字续写器」。

这个简单的机制之所以能产生看起来像思考的行为，是因为训练它的文本里包含了大量的推理过程、对话记录、代码和解释。当它续写「问题：1+1 等于几？答案：」的时候，训练数据告诉它接下来最可能出现的是「2」。

最关键的一条性质：它完全没有记忆

这是整份文档最重要的前置认知，请务必理解清楚：

可以用一个类比来理解这件事：

这个「每次都要重念全部历史」的机制，是理解后面所有设计的钥匙。它直接导致了三个后果，我们接下来逐个解释：

• 对话越长，每次要念的内容越多，越贵、越慢（见 1.2 和 1.3）
• 能念的内容有上限，超了就报错（见 1.4）
• 如果这次念的开头和上次一模一样，可以想办法省掉重念的开销（见 1.8，这是全文最重要的技术点）

1.2 token 是什么

「token」这个词很难翻译，业内通常直接用英文，或者译作「词元」。这份文档保留英文 token，因为它已经是事实上的标准术语。

token 是大语言模型处理文字的最小单位，也是计费的单位。

模型不是按「字」处理文字的，也不是按「单词」。它用一套专门的切分规则，把文字切成一个个 token。大致的规律是：

为什么要关心 token？因为使用大语言模型的费用是按 token 计算的，而且分成两种价格：

• 输入 token（input token）—— 你念给模型听的那些内容。便宜。
• 输出 token（output token）—— 模型说出来的内容。贵，通常是输入价格的 3～5 倍。

1.3 上下文与上下文窗口是什么

「上下文」（context）指的就是你这一次念给模型听的全部内容。包括：系统设定、历史对话、工具执行的结果、以及你的新问题。它是一个纯文本序列。

「上下文窗口」（context window）指的是模型一次最多能接受多少 token。这是一个硬性上限，由模型本身决定，用户无法调整。

常见的上下文窗口大小：

• 较早的模型：8,000 token（大约 4,000～5,000 个汉字）
• 目前主流：200,000 token（大约 10 万～13 万个汉字，相当于一本中等长度的小说）
• 特长版本：1,000,000 token

可以把上下文窗口想象成一张固定大小的桌子。你要讨论的所有材料都必须摊在这张桌子上，模型才能看到。桌子摊满了，就再也放不下新东西 —— 这时候你只有两个选择：拿掉一些旧材料，或者把几份材料压缩成一份摘要。

这个「桌子满了怎么办」的问题，就是本文档第 6 章的全部内容，也是智能体系统里最难、最能体现工程水平的一块。

超出上限会发生什么

会直接报错。这个错误在两套系统的代码里出现频率极高，它有一个专门的名字：

1.4 智能体与聊天机器人的区别

「智能体」的英文是 Agent，也常被译作「代理」。这份文档统一使用「智能体」，或者在指代具体产品时用英文 Agent（比如 Claude Code 里有一个工具就叫 AgentTool）。

聊天机器人和智能体的区别可以用一句话概括：

更准确地说：

1.5 工具调用是什么，它到底怎么工作

这一节讲清楚智能体最核心的机制。很多人对这里有误解，所以我们讲得细一点。

第一个要纠正的误解：模型不能执行任何操作

大语言模型只会输出文字。它不能读文件，不能运行命令，不能上网。它被关在一个只有文字进出的盒子里。

那智能体是怎么读文件、跑命令的？答案是：模型写一张「便条」，外面的程序照着便条去执行，然后把执行结果作为文字念给模型听。

继续用 1.1 的那位失忆专家做类比：

在技术上，这个「便条」有一个标准格式，叫做 tool_use（工具使用）。助理递回去的执行结果，叫做 tool_result（工具结果）。这两个词在后面章节里会频繁出现。

完整流程逐帧拆解

假设用户说「把 config.json 里的端口号改成 8080」。完整发生的事情是：

「没有便条就结束」是唯一的终止信号

请记住第 8 帧：模型这一轮没有写任何便条，只说了人话 —— 这就是任务完成的信号。

后面第 4 章你会看到，两套系统的主循环判断「要不要继续」的依据都是同一件事：这一轮的回复里有没有 tool_use。有就继续，没有就结束。

1.6 什么是流式输出

模型生成文字是一个字一个字往外吐的，不是憋足了一次性给你。这叫「流式输出」（streaming）。

你在使用各类 AI 聊天产品时看到文字一个个蹦出来，就是流式输出。这不是为了好看的动画效果，而是模型真实的工作方式 —— 它确实是一个 token 一个 token 生成的。

流式输出带来一个重要的优化机会，后面第 5 章会讲到：

1.7 什么是 API

API 是 Application Programming Interface 的缩写，中文叫「应用程序接口」。这个缩写已经完全通用，后面直接用 API。

它的意思是：一个程序向另一个程序提供服务的约定好的方式。

在这份文档里，「调用 API」几乎总是指同一件事：你的程序通过网络，把上下文发送给 Anthropic（或 OpenAI 等）公司的服务器，服务器上的大语言模型处理后把结果通过网络返回给你。

几个后面会用到的相关说法：

• 「一次 API 调用」 = 把上下文发过去、拿到一次完整回复。这是计费单位，也是延迟的主要来源（通常耗时 2～30 秒）。
• 「供应商」（provider） = 提供模型服务的公司。Anthropic、OpenAI、Google 等。
• 「私有能力」 = 某家供应商独有、别家没有的功能。用了就享受不到换供应商的自由，这是第 10 章的核心权衡。

1.8 提示词缓存 —— 全文最重要的技术概念

它解决什么问题

回到 1.5 的第 4 帧和第 7 帧：每一轮都要重发全部历史。服务器每次都要把这些内容重新「读」一遍（技术上叫做处理 prompt，即计算注意力）。这个重复处理既慢又花钱。

供应商们注意到一件事：连续两次请求，开头的绝大部分内容是一模一样的。第 100 轮和第 99 轮的区别，只是末尾多了一轮对话。前面 99 轮完全相同。

于是有了「提示词缓存」（prompt cache）：

还是用失忆专家的类比：

关键性质：它是「前缀匹配」，一字之差全盘失效

这是最容易被忽略、也是后面所有设计的根源：

这个性质导致了一系列在外行看来非常奇怪的工程决策，你在后面会遇到，现在先预告几个：

缓存有有效期，会「凉掉」

缓存不是永久的。常见的有效期是 5 分钟（也有 1 小时的付费选项）。超过有效期，缓存被清除，下次请求必须全部重新处理。

这引出了一个后面会看到的精妙设计：「缓存现在是热的还是凉的」应该成为决策的输入。

• 缓存是热的（刚刚才请求过）→ 千万不要动上下文的开头，能省一大笔
• 缓存已经凉了（用户去吃了顿饭才回来）→ 前面反正要全部重新处理，这时候正是大刀阔斧清理旧内容的最佳时机

同一个目标（清理旧内容），根据缓存冷热要走两条完全相反的路。绝大多数自己搭建智能体的团队完全没有「缓存冷热」这个概念，所以只有一套策略，在两种场景下各错一半。

1.9 还会遇到的几个词

这些词在后面章节里出现频率较高，先建立印象，不必现在完全掌握。第 13 章有完整术语表。