文｜吴怼怼

在 AI 时代，有一个词，几乎每个人都会遇到。

但并没有多少人真正理解它。

这个词就是 —— Token。

当你在使用 AI 模型，甚至开始使用各种 Agent 自动化时，你一定见过这些场景：

每次对话会提示消耗多少 token

模型上下文显示 128K token

API 文档里写着 token 价格 $0.01 / 1K

这些提示越来越频繁地出现。

但如果你认真问一句：

Token 到底是什么？

你会发现，中文世界至今没有一个真正跑出来的翻译。

01

Token 不是“字”，也不是“词”

很多人的第一反应是：

token = 字数

这是最常见的误解。

因为在中文里，一句话 20 个字，token 可能是 25，也可能是 18。

它并不稳定。

原因是，Token 是模型理解世界时使用的最小切片。

它不是语言学单位，而是计算单位。

更准确地说，是信息被离散化之后的处理颗粒。

在不同语言中，token 的形态并不一样：

英文 token 往往接近一个词或词的一部分

中文 token 更接近一个字或字组合

一个 emoji 甚至也可能是一个 token

比如：

ChatGPT

在模型内部，可能被切分成：

Chat + G + PT

而不是一个整体。

02

Token 的本质，是“压缩后的现实”

如果你想真正理解 token，需要换一个视角。

Token 并不是文本单位，而是世界建模单位。

大模型在训练时，并不是在“读文章”。

它在读取被编码后的现实。

小说、论文、代码、图片描述、对话，甚至社交媒体上的争论，都会被切碎成 token 序列。

整个世界被打散成离散片段。

模型学习的不是句子本身，而是：

Token 与 Token 之间的概率关系。

所以从更底层看，AI 本质并不是语言系统。

它更像是一个概率驱动的世界压缩机。

03

为什么“词元”没有跑出来

在学术界，其实早就有 token 的翻译：

词元。

但这个译法几乎没有真正进入大众语境。

原因很简单 —— 它太像 NLP 时代的概念。

在传统自然语言处理中：

word、morpheme、lexeme，才是语言学意义上的“词元”。

但大模型时代的 token，已经不是同一个维度的东西。

它不是语言对象，而是计算机可处理的离散符号。

更像编码块、信号片段，或者神经网络的输入颗粒。

因此，“词元”既不够准确，也缺乏传播力。

04

Token 要么不翻译，要么音译

如果一定要翻译，其实只有两个现实路径。

第一种，是不翻译。

全球科技界正在形成一种弱共识：

Token 就是 token。

就像 WiFi、App、Bug 一样。

一旦强行意译，反而可能造成误解。

很多 VC、工程师、产品经理已经直接说：

“这次推理消耗了 20 万 token。”

这个词正在被自然汉化。

第二种路径，是音译。

因为 Token 更像一个新出现的“技术计量单位”。

它不像桌子、汽车、数据库这种可以类比的实体概念。

它更接近：

bit

byte

帧

像素

这些概念在历史上往往不会被完美意译，而是被语言直接吸收。

比如：

bit → 比特

byte → 字节（其实是半音译）

clone → 克隆

logic → 逻辑

Token 很可能也会走同样的路径。

05

为什么「托肯」可能跑出来

音译最大的优势，是避免语义误导。

而音译从来不追求最精确的发音，而是优先考虑传播效率。

历史上成功的音译，大多遵循这个规律：

clone → 克隆（不是“克楼恩”）

Google → 谷歌（不是“古够”）

blog → 博客（不是“布劳格”）

当 Token 被音译为「托肯」时，它开始具备进入商业语境的可能。

因为 AI 世界正在形成一个新的定价体系：

每千托肯收费

上下文托肯额度

推理托肯成本

你会发现，「托肯」读起来非常像一个技术计量单位。

甚至未来可能出现完整的技术语言体系：

托肯流、托肯预算、托肯吞吐、托肯市场。

这已经不仅是语言问题，而是算力经济学问题。

06

Token 为什么会成为 AI 时代的“货币”

真正关键的问题，其实并不是翻译。

而是：

为什么 AI 世界用 token 来计价？

因为 Token 同时承担四种角色：

算力消耗单位

模型记忆单位

推理时间单位

商业收费单位

它的地位，非常像：

kWh（电费）、GB（流量）、CPU cycle（算力）。

所以未来，人们购买的可能不再是 AI 服务本身。

而是：

Token 使用权。

某种意义上，它正在成为 AI 世界的石油。

07

一个更底层的理解

如果把视角再拉高一点。

Token 是什么？

它其实是现实被机器理解之后的“像素”。

就像：

图像由 pixel 构成，

视频由 frame 构成，

AI 的理解由 token 构成。

因此，未来的世界模型，可能不再以语言为基础。

而是以 token 流为基础。

AI 在不断预测 token。

而人类，则在其中感知意义。