AI知识篇

什么是大模型Token

0/60

什么是大模型Token

Token:AI 的最小理解单位

当你和 ChatGPT 或 Claude 对话时,AI 不是一个字一个字地理解你的话,而是把文本拆成一个个 Token(词元)来处理。Token 是大语言模型处理文本的最小单位,也是 API 计费的基本单位

💡 类比:人类阅读是一个词一个词看的,AI 阅读是一个 Token 一个 Token 处理的。Token 有时候是一个完整的词,有时候是词的一部分。

Token 是怎么拆的?

Token 不等于字,也不等于词。不同语言的拆分方式不同:

英文

原文Token 拆分Token 数
HelloHello1
Hello WorldHello World2
unfortunatelyun fortunate ly3
I love programmingI love programming3

中文

原文Token 拆分Token 数
你好 2
人工智能 4
AI编程AI 3

💡 经验法则:英文大约 1 个 Token ≈ 4 个字符 ≈ 0.75 个单词。中文大约 1 个汉字 ≈ 1-2 个 Token

Token 与 API 计费

使用 AI API 时,费用按 输入 Token输出 Token 分别计算:

加载图表中...

关键点:输出 Token 通常比输入 Token 贵 3-5 倍。这意味着让 AI 写长文比问短问题贵得多。

主流模型价格对比

模型输入价格输出价格特点
GPT-4o$2.5/M$10/MOpenAI 主力模型
Claude Sonnet$3/M$15/MAnthropic 主力模型
GPT-4o mini$0.15/M$0.6/M便宜够用
Claude Haiku$0.25/M$1.25/M快速便宜
DeepSeek V3$0.27/M$1.1/M国产高性价比

价格单位:美元 / 百万 Token(M = Million)

一次对话要花多少钱?

假设一次普通对话:输入 1000 Token + 输出 500 Token

模型费用换算
GPT-4o$0.0075≈ ¥0.054
Claude Sonnet$0.0105≈ ¥0.076
GPT-4o mini$0.00045≈ ¥0.003
DeepSeek V3$0.00082≈ ¥0.006

💡 最贵和最便宜的模型差价超过 20 倍!选对模型能省很多钱。

上下文窗口(Context Window)

每个模型有一个 上下文窗口 限制——一次对话中能处理的最大 Token 数:

模型上下文窗口大约相当于
GPT-4o128K Token约 300 页文档
Claude Sonnet200K Token约 500 页文档
GPT-4o mini128K Token约 300 页文档

为什么这很重要?

  • 对话越长,消耗的 Token 越多(因为每次都要发送完整聊天记录)
  • 超出上下文窗口,AI 会"忘记"早期的对话内容
  • AI 编程工具(如 Claude Code)读取大量代码文件时会快速消耗上下文

省 Token 的实用技巧

技巧说明
简洁提问"用 Next.js 写个登录页" 比 "请你帮我用 Next.js 框架写一个包含用户名和密码输入框的登录页面组件" 更省 Token
选对模型简单任务用 mini/Haiku,复杂任务用 GPT-4o/Sonnet
控制输出长度加上"简洁回答"、"代码不需要注释"等指令
及时开新对话长对话会累积大量 Token,开新对话从零开始
System Prompt 精简系统提示词也占 Token,每次对话都会重复发送

Token 与订阅制的关系

大部分 AI 产品有两种计费方式:

加载图表中...

🎯 AI编程小贴士:在开发阶段用 API 调试时,先用便宜模型(如 GPT-4o mini)测试功能是否正常,确认没问题后再切换到强模型。这样能节省大量费用。

小结

  • Token 是 AI 处理文本和计费的最小单位,不等于字或词
  • 英文约 1 Token ≈ 0.75 词,中文约 1 汉字 ≈ 1-2 Token
  • 输出 Token 比输入贵 3-5 倍
  • 不同模型价格差异超过 20 倍,选对模型很重要
  • 上下文窗口限制了一次对话的最大长度
  • 简洁提问 + 选对模型 = 省钱的关键