什么是大模型Token
Token:AI 的最小理解单位
当你和 ChatGPT 或 Claude 对话时,AI 不是一个字一个字地理解你的话,而是把文本拆成一个个 Token(词元)来处理。Token 是大语言模型处理文本的最小单位,也是 API 计费的基本单位。
💡 类比:人类阅读是一个词一个词看的,AI 阅读是一个 Token 一个 Token 处理的。Token 有时候是一个完整的词,有时候是词的一部分。
Token 是怎么拆的?
Token 不等于字,也不等于词。不同语言的拆分方式不同:
英文
| 原文 | Token 拆分 | Token 数 |
|---|---|---|
| Hello | Hello | 1 |
| Hello World | Hello World | 2 |
| unfortunately | un fortunate ly | 3 |
| I love programming | I love programming | 3 |
中文
| 原文 | Token 拆分 | Token 数 |
|---|---|---|
| 你好 | 你 好 | 2 |
| 人工智能 | 人 工 智 能 | 4 |
| AI编程 | AI 编 程 | 3 |
💡 经验法则:英文大约 1 个 Token ≈ 4 个字符 ≈ 0.75 个单词。中文大约 1 个汉字 ≈ 1-2 个 Token。
Token 与 API 计费
使用 AI API 时,费用按 输入 Token 和 输出 Token 分别计算:
加载图表中...
关键点:输出 Token 通常比输入 Token 贵 3-5 倍。这意味着让 AI 写长文比问短问题贵得多。
主流模型价格对比
| 模型 | 输入价格 | 输出价格 | 特点 |
|---|---|---|---|
| GPT-4o | $2.5/M | $10/M | OpenAI 主力模型 |
| Claude Sonnet | $3/M | $15/M | Anthropic 主力模型 |
| GPT-4o mini | $0.15/M | $0.6/M | 便宜够用 |
| Claude Haiku | $0.25/M | $1.25/M | 快速便宜 |
| DeepSeek V3 | $0.27/M | $1.1/M | 国产高性价比 |
价格单位:美元 / 百万 Token(M = Million)
一次对话要花多少钱?
假设一次普通对话:输入 1000 Token + 输出 500 Token
| 模型 | 费用 | 换算 |
|---|---|---|
| GPT-4o | $0.0075 | ≈ ¥0.054 |
| Claude Sonnet | $0.0105 | ≈ ¥0.076 |
| GPT-4o mini | $0.00045 | ≈ ¥0.003 |
| DeepSeek V3 | $0.00082 | ≈ ¥0.006 |
💡 最贵和最便宜的模型差价超过 20 倍!选对模型能省很多钱。
上下文窗口(Context Window)
每个模型有一个 上下文窗口 限制——一次对话中能处理的最大 Token 数:
| 模型 | 上下文窗口 | 大约相当于 |
|---|---|---|
| GPT-4o | 128K Token | 约 300 页文档 |
| Claude Sonnet | 200K Token | 约 500 页文档 |
| GPT-4o mini | 128K Token | 约 300 页文档 |
为什么这很重要?
- 对话越长,消耗的 Token 越多(因为每次都要发送完整聊天记录)
- 超出上下文窗口,AI 会"忘记"早期的对话内容
- AI 编程工具(如 Claude Code)读取大量代码文件时会快速消耗上下文
省 Token 的实用技巧
| 技巧 | 说明 |
|---|---|
| 简洁提问 | "用 Next.js 写个登录页" 比 "请你帮我用 Next.js 框架写一个包含用户名和密码输入框的登录页面组件" 更省 Token |
| 选对模型 | 简单任务用 mini/Haiku,复杂任务用 GPT-4o/Sonnet |
| 控制输出长度 | 加上"简洁回答"、"代码不需要注释"等指令 |
| 及时开新对话 | 长对话会累积大量 Token,开新对话从零开始 |
| System Prompt 精简 | 系统提示词也占 Token,每次对话都会重复发送 |
Token 与订阅制的关系
大部分 AI 产品有两种计费方式:
加载图表中...
🎯 AI编程小贴士:在开发阶段用 API 调试时,先用便宜模型(如 GPT-4o mini)测试功能是否正常,确认没问题后再切换到强模型。这样能节省大量费用。
小结
- Token 是 AI 处理文本和计费的最小单位,不等于字或词
- 英文约 1 Token ≈ 0.75 词,中文约 1 汉字 ≈ 1-2 Token
- 输出 Token 比输入贵 3-5 倍
- 不同模型价格差异超过 20 倍,选对模型很重要
- 上下文窗口限制了一次对话的最大长度
- 简洁提问 + 选对模型 = 省钱的关键