CRAZYROUTER / AI 工具指南

Token 是什么?中文怎么算、1K/1M Token 与分词器对比

Token 是大语言模型处理文本时使用的基本单位。它可能是一个词、词的一部分、标点,或字符编码的一部分;它不等于一个汉字,也不等于一个英文单词。同一段文本交给不同模型的分词器,得到的 Token 数可能不同。

维护:CrazyRouter · 内容核对:

在线计算 Token,比较 8 种分词器 →

一个 Token 等于几个汉字?为什么没有固定答案?

分词器根据词表与编码规则把文本切成片段。常见词、少见字、中英文混排、空格和 emoji,都可能影响切分结果。把“一个 Token 等于几个汉字”当成固定公式,容易低估中文、代码或多语内容的长度。

想知道一段中文具体用了多少 Token,最可靠的操作是选择目标模型对应的分词器,把原文直接输入工具。复制文本时也要保留换行与空格,因为它们会影响切分。

同一句中文,不同模型分别是多少 Token?

测试原文:人工智能让开发更简单。用同一个 API,连接不同的大语言模型。

分词器纯文本 Token 数
Qwen3-8B16
DeepSeek-V316
Mistral-7B-Instruct-v0.328
GPT o200k_base18
GPT cl100k_base28
GLM-516
Kimi K2.515
Claude 官方旧版25

这些结果来自工具中的固定版本分词器与测试样例,未添加聊天模板。Claude 一行只对应官方旧版分词器,不能用于当前 Claude 3 及以后模型的精确计费;当前 Claude 应使用官方 count_tokens 接口。GPT 行表示编码方案,不能理解为所有 GPT 型号都使用同一种分词器。

1K Token、1M Token 和上下文长度分别是什么?

价格表中的 1K 通常表示 1,000 个 Token,1M 表示 1,000,000 个 Token。上下文窗口是一次请求可处理内容的容量限制,需要核对具体模型是否把输入、输出及推理部分共同计入;它不是免费额度,也不等于一次回答一定能输出的长度。

输入 Token、输出 Token、缓存 Token 有什么区别?

聊天越久,随请求重新发送的历史越多,输入费用可能越高。网页上的“字符数”可以帮助观察文本规模,但不能替代 Token 数。

如何用分词结果估算 API 费用?

  1. 选择目标模型或匹配的编码方案,粘贴完整文本。
  2. 比较 Token 数和拆分片段,检查中文、日文、韩文或代码的差异。
  3. 输入模型每百万输入 Token 的单价,得到这段纯文本的输入费用估算。
  4. 把输出预算、消息封装、工具和图片等额外开销加入 API 费用计算。

本地工具不上传输入文本。纯文本计数与 API 实际 usage 可能不同,最终以提供商报告的用量和计费规则为准。

Token 是什么:常见问题

Token 就是 API Key 吗?

不是。在大模型计数语境下,Token 指文本处理单位;访问令牌或 API Key 是身份凭证,不应该粘贴到分词器或公开测试样例里。

为什么同一句话在不同模型下 Token 数不同?

不同模型可能使用不同的词表、规范化规则和编码方案。差异反映切分方式,不能单独用来判断模型好坏或总费用。

中文、日文、韩文可以一起计算吗?

可以。工具接受混合语言输入,并提供中、英、日、韩示例。请使用目标模型对应的分词器,而不是按字符数直接换算。

为什么本地 Token 数小于 API 返回的输入用量?

API 请求还可能包含聊天模板、系统提示、历史消息、工具定义和多模态内容。这些内容不一定出现在你粘贴的纯文本中。

把比较结果用到你的应用

先确认模型效果与当前价格,再决定是否接入 API。免费阅读指南和浏览样例不需要注册。

查看当前模型价格 ↗ API 接入文档 ↗

相关工具与下一步阅读

资料来源与核对方式

工具与文档由 CrazyRouter 维护。页面包含本站服务入口;样例、公式与限制均可在源码和上游资料中核对。