一个 Token 等于几个汉字?为什么没有固定答案?
分词器根据词表与编码规则把文本切成片段。常见词、少见字、中英文混排、空格和 emoji,都可能影响切分结果。把“一个 Token 等于几个汉字”当成固定公式,容易低估中文、代码或多语内容的长度。
想知道一段中文具体用了多少 Token,最可靠的操作是选择目标模型对应的分词器,把原文直接输入工具。复制文本时也要保留换行与空格,因为它们会影响切分。
同一句中文,不同模型分别是多少 Token?
测试原文:人工智能让开发更简单。用同一个 API,连接不同的大语言模型。
| 分词器 | 纯文本 Token 数 |
|---|---|
| Qwen3-8B | 16 |
| DeepSeek-V3 | 16 |
| Mistral-7B-Instruct-v0.3 | 28 |
| GPT o200k_base | 18 |
| GPT cl100k_base | 28 |
| GLM-5 | 16 |
| Kimi K2.5 | 15 |
| Claude 官方旧版 | 25 |
这些结果来自工具中的固定版本分词器与测试样例,未添加聊天模板。Claude 一行只对应官方旧版分词器,不能用于当前 Claude 3 及以后模型的精确计费;当前 Claude 应使用官方 count_tokens 接口。GPT 行表示编码方案,不能理解为所有 GPT 型号都使用同一种分词器。
1K Token、1M Token 和上下文长度分别是什么?
价格表中的 1K 通常表示 1,000 个 Token,1M 表示 1,000,000 个 Token。上下文窗口是一次请求可处理内容的容量限制,需要核对具体模型是否把输入、输出及推理部分共同计入;它不是免费额度,也不等于一次回答一定能输出的长度。
输入 Token、输出 Token、缓存 Token 有什么区别?
- 输入 Token:提交给模型的内容,可能包括系统指令、用户消息、历史对话及工具定义。
- 输出 Token:模型生成的内容;部分模型还会报告或计费不可见的推理 Token。
- 缓存 Token:提供商识别并复用的输入片段,缓存读取与写入的计价规则需要分别核对。
聊天越久,随请求重新发送的历史越多,输入费用可能越高。网页上的“字符数”可以帮助观察文本规模,但不能替代 Token 数。
如何用分词结果估算 API 费用?
- 选择目标模型或匹配的编码方案,粘贴完整文本。
- 比较 Token 数和拆分片段,检查中文、日文、韩文或代码的差异。
- 输入模型每百万输入 Token 的单价,得到这段纯文本的输入费用估算。
- 把输出预算、消息封装、工具和图片等额外开销加入 API 费用计算。
本地工具不上传输入文本。纯文本计数与 API 实际 usage 可能不同,最终以提供商报告的用量和计费规则为准。