AI 模型、“龙虾”都离不开它，Token 究竟是什么？

来源：IT之家 7 小时前

虽然 AI 智能体是你的超级牛马，但要让它好好打工，你也得付上一笔“窝囊费”。

相信关注科技圈的朋友们最近都被 OpenClaw 刷过屏，这款被戏称为“龙虾”的开源 AI 智能体，正在掀起一场全民“饲养”热潮。只需发一条消息，它就能接管你的设备，自动查资料、写代码、调试、优化，全程自主执行。

听起来很酷，但代价呢？

第一批“养虾人”已经开始觉悟：AI 牛马一点也不便宜。

在 API 服务平台 OpenRouter 的统计数据中，OpenClaw 已经成为单月消耗 Token 最多的应用，一个月内烧掉的 Token 高达 10.2 万亿。

为什么这么贵？

因为 OpenClaw 本身不具备推理能力，需要接入其他大模型的 API 才能运转。每发送一条指令，使用者都要向模型厂商支付费用，这个费用就是按 Token 计算的。

那么，Token 到底是什么？看完这篇文章，相信IT之家家友们能找到答案。

01. Token 是什么

要理解 Token 是什么，用一个最简单粗暴的比喻：假如你和外星人聊天，需要请一个按字收费的同声传译，那么 Token 就是这个翻译向你收取的佣金。

Token 是大模型处理和生成文本的基本单位。毕竟 AI 没有人脑子，要想让它看懂我们的要求，就得把一句话掰开了揉碎了，用它能理解的方式喂进去。

什么叫 AI 能理解的方式？聪明的朋友一定想到了：大模型的底层原理也是数学运算，所以得用数字。

这个过程分两步：首先将输入文本拆分成一个个子词（Subword）片段，也就是 Token（这一步叫分词），然后将每个 Token 转换成一个唯一的数字 ID（这一步叫编码）。

换言之，AI 看到的不是我们人类理解的完整句子，而是一串由 Token 组成的序列，每个 Token 都有唯一对应的数字 ID，这就组成了大模型的词汇表。

如果这么说还是很抽象，我们不如看看下面的实例：

那么反过来，AI 要输出我们人类能看懂的句子，也得从词汇表一个 Token 一个 Token 的推理，然后再把它们组成一句完整的话，每个字输出的间隔，实际上就是大模型在挑选最合理的答案。

你可能会问：为什么不直接按单词分？或者干脆按字母分？那样不是更简单吗？

其实现在的分词方式，正是经历各种尝试，反复权衡利弊的结果。

如果只按单词分，那么大模型的词汇表会爆炸。语言中的单词数量是无限的，各种新词每天都在被人类创造出来，更别提无以计数的拼写错误，如果每个词都独立编码，模型的词汇表会大到无法训练。

用这种方法更麻烦的是，如果遇到词汇表中没见过的单词，AI 就直接原地懵圈了，如果无人干涉，它能在这一个词上卡到海枯石烂。

如果只按字符分，就会导致 Token 序列过长。一个句子变成几百个字母，模型要处理的步骤就会直接爆炸。而且单个字母几乎没有含义，模型很难从零散的字母中学会真正的语义。

如此一来，子词分词就成了最佳平衡点：

常用词保留为完整 Token，生僻词拆成有含义的子词。这样即使遇到没见过的词，甚至是乱打的词，大模型也能通过认识的子词部分猜出大意。

这里还牵扯到一个现实问题：同样的内容，中文通常比英文更费 Token。

英文平均 1 个 Token ≈ 0.75 个单词，而中文 1 个汉字通常就是 1-2 个 Token。这就是为什么你用中文对话时感觉更烧钱 —— 因为汉字信息密度高又难拆，同样的意思需要更多 Token。

既然说到这里，我们不如谈谈 Token 的费用问题。所有主流大模型 API 都按 Token 计费。你输入的加上模型输出的 Token 总和就是费用。

还有一点需要注意，输出 Token 通常比输入 Token 贵，因为生成内容的计算成本更高。

除此之外，对于使用 OpenClaw 的普通用户，IT之家还要提醒：AI 智能体比传统 AI 更能花钱。

传统对话模型就像两人的简单对话，一次顶多几千、上万 Token。但 OpenClaw 这类自主智能体，陪聊之外还得干活，它要拆解目标、规划步骤、调用工具、检查结果、回退重试、自动循环…… 每一步都在消耗 Token，每一轮对话都在放大成本。

AI 智能体干起活来就像是个忘关的水龙头，你发现欠费之前都不会注意它淌了多少水出去。

更麻烦的是，OpenClaw 还存在“记忆膨胀”问题，若不及时清理，会让 Token 消耗持续走高，进一步推高成本。它的“心跳机制”还会意外唤醒终止任务，造成无谓的 Token 消耗。

IDC 预测，到 2030 年，全球活跃 AI 智能体将达 22.16 亿，年度 Token 消耗量将从 2025 年的 0.0005 PetaTokens 飙升至 15.2 万 PetaTokens ，增长超 3 亿倍。

如此看来，这只超级吞金兽现在还是幼年期呢。

综上所述，要防止 Token 账单背刺，普通人该怎么办？IT之家为你准备了以下 6 点建议：

精简提示词。去除冗余内容，用简洁明确的指令替代长段描述。比如用“总结 3 点核心观点”替代“请你帮我总结这段文字的核心内容，分点列出，语言简洁，逻辑清晰”，你越会总结，AI 就越会总结。
限定输出长度。在提示词中明确要求，比如“回复不超过 50 个字”、“总结 100 字以内”，避免模型为了你的情绪价值生成一堆垃圾话。
及时开启新对话。当话题转换或历史对话过长时，手动新建对话，让这段对话起的 Token 计数从零开始，避免模型读取无关历史，这也是一笔隐形的冤枉钱。
量入为出，精打细算。根据任务复杂度选择合适的模型，能用轻量级模型解决的，不必每次都调用高端模型。
保护好 API 密钥。现在盗刷 API 比盗刷信用卡还简单，不要向任何人，也不要向智能体泄露密码、口令等敏感信息。
警惕权限失控。AI 智能体没有恐惧感，就算做错了事情，你也没办法把它从屏幕里拽出来打一顿，所以要建立高危操作确认机制，及时备份，或者干脆把它关进沙箱。

Token 是个最初藏在技术文档里的冰冷术语，如今已成为行走大 AI 时代的通用货币。它既衡量着模型的智能，也算计着你的钱包。

从 OpenClaw “养虾人”的天价账单，到开发者们的精打细算，我们正在经历一个从免费午餐到按量付费的观念转变。正如电力按度计费、自来水按吨收费，Token 让 AI 服务变得可衡量、可交易、可持续，但它本身也需要更安全、更可控、更透明。