作者：绳匠_ZZ0

从登录验证到ChatGPT，从编译器到区块链，一个单词横跨多个领域，中文翻译却“各自为政”

引言

如果你是一名开发者，每天都会与“Token”打交道——登录时用的访问令牌、写编译器时的词法单元、调用大模型时的上下文词元、区块链上的代币……同一个英文单词，在不同技术语境下被翻译成了迥异的中文名称。这不仅是翻译的混乱，更是技术理解的门槛。

本文将梳理Token在不同领域的核心含义，分析现有译名的优劣，并尝试给出一个清晰的使用指南。

一、Token的本源：一个“符号”而已

Token源自古英语“tacen”，意为标志、符号或象征。在计算机科学中，Token泛指一个具有特定含义的、不可分割的符号单元。它可以是：

• 一把“钥匙”（证明你有权限）

• 一个“零件”（组成更大结构的基本单位）

• 一张“票据”（代表价值或权利）

正是这种抽象性，让Token在不同子领域中衍生出不同的译名。

二、分而治之：各领域的Token与译名

1. 身份认证与安全 → “令牌”

最常见场景：用户登录后，服务器返回一个access_token，后续请求携带此令牌以证明身份。

为什么叫“令牌”？
“令牌”让人联想到古代调兵遣将的“虎符”，具有唯一性、时效性、授权凭证的特征，非常贴切。

例子：

http

Authorization: Bearer eyJhbGciOiJIUzI1NiIs...

这个JWT就是一个标准令牌。

其他译名： “标记”、“通行证”也曾出现，但“令牌”已是行业事实标准。

2. 编程语言与编译原理 → “词法单元” / “标记”

写一个解释器或编译器时，词法分析器（Lexer）将源代码字符串切分成一个个Token，例如关键字if、标识符count、运算符+、数字123。

译名之争：

• “标记”：早期教材常用，如“将源代码分解为标记序列”。

• “词法单元”：更学术，强调其作为语法分析的最小单位。

• “词元”：近年随着LLM兴起而流行，稍后详述。

代码示例：

python

import tokenize
from io import BytesIO

code = b"x = 42"
tokens = tokenize.tokenize(BytesIO(code).readline)
for tok in tokens:
    print(tok.type, tok.string)
# 输出：NAME 'x', OP '=', NUMBER '42'

这里每个(NAME, 'x')就是一个Token。

建议： 在编译原理语境下用“词法单元”或直接“Token”；“标记”略显宽泛，易混淆。

3. 自然语言处理与大模型 → “词元”

这是近年来最热门的Token战场。GPT、LLaMA等模型处理文本时，先将其切分为Token——可能是一个单词、半个单词，甚至一个字符。

为什么不用“词语”？
因为Token不一定是完整单词。例如ChatGPT可能被切成Chat、G、PT（取决于分词器）。我爱你可能变成我、爱、你三个Token。

译名演变：

• 早期NLP教材：仍称“标记”

• 机器翻译社区：有时用“语元”

• 大模型时代，“词元” 逐渐胜出：既表明与“词”相关，又强调其作为基本原子单元。

直观对比：

原文句子	分词结果（Token序列）	“词元”翻译
I love you	["I", " love", " you"]	三个词元
你好世界	["你", "好", "世", "界"]	四个词元
tokenization	["token", "ization"]	两个词元

建议： 使用“词元”，并记住一个Token大约对应0.75个英文单词（对计费、上下文长度很有用）。

4. 区块链与加密货币 → “代币”

在以太坊上，ERC-20标准定义了“代币”——代表某种资产或权益的数字凭证。

为什么叫“代币”？
“代”有“替代、代表”之意，“币”指向货币/价值。一个“代币”可以代表积分、股权、稳定币甚至一张门票。

例子： USDT（泰达币）是一种稳定币代币，UNI是治理代币。

注意： 区块链领域几乎没人说“令牌”，因为“令牌”在安全领域已被占用，且缺乏“价值载体”的含义。

5. 其他领域简表

领域	Token含义	推荐译名	不推荐译名
身份认证	临时凭证	令牌	标记、代币
编译原理	词法单元	词法单元 / Token	令牌
大模型	文本原子块	词元	令牌、标记
区块链	可交易资产	代币	令牌、符号
一般系统设计	唯一随机字符串	令牌 / 凭证	（无）

三、为什么译名难以统一？

根本原因：Token的多义性。它是一个抽象概念，在不同抽象层次上“具象化”为不同事物。翻译追求“信达雅”，必须结合语境：

• 安全工程师看到Token，想到的是expires_in=3600的JWT → “令牌”

• 算法工程师看到Token，想到的是vocab.json里的整数ID → “词元”

• 金融科技从业者看到Token，想到的是智能合约里的balanceOf → “代币”

强行统一成一个译名，只会造成更大的误解。比如把区块链的“代币”叫做“令牌”，用户会以为它只是一种权限凭证而非价值资产。

四、实战建议：如何选择和使用？

给技术写作者：

• 区分领域：在文章开头明确讨论的上下文。

• 保留英文：第一次出现时写作“Token（词元）”，之后可以只用中文，或中英混用。

• 术语一致性：同一篇文章内不要乱跳。

给开发团队：

• 代码与文档：代码中变量名坚持用token（或accessToken、tokenId），中文文档按领域翻译。

• API设计：返回字段名用token，注释中用中文译名。

给学习者：

• 不要纠结“哪个译名绝对正确”，而是理解Token在每个场景下的本质作用。

• 当别人说“令牌”时，心里想“一个临时凭证”；当别人说“词元”时，心里想“一个文本碎片”。

五、总结：一张表终结争议

如果你在……	请用这个译名	英文原词可保留吗？
写OAuth2/OpenID Connect文档	令牌	建议保留Access Token
开发编译器或解释器	词法单元	常用Token
训练或调用LLM	词元	非常常见（如Token数）
发一个ERC-20项目	代币	极少用中文代替
做通用系统设计	令牌 / 凭证	保持Token

最后说一句：不要试图用“标记”通吃一切——它太泛，容易与Label、Flag、Mark等混淆。

希望这篇文章能终结你在技术翻译上的纠结。下次再看到Token，你会知道：不是中文太贫乏，而是世界太丰富。