我喜欢学习人工智能
中文不是一个字固定等于一个 Token,模型会按自己的分词表切开。真实计数以具体模型的 tokenizer 为准。
CHAO AI LEARNING PATH
03 第零篇章 · 第一次系统认识 AI
第一次看 AI API、产品套餐和百万 Token 价格时,最容易卡住的不是技术,而是搞不清 AI 到底按什么单位工作。这一页先把 Token 讲成人话。
人类用文字交流,AI 用 Token 计算世界。Token 可以理解成 AI 读写内容时使用的“小颗粒”:你发给它的内容叫输入 Token,它写回来的答案叫输出 Token。模型每读一颗、每写一颗,都要消耗计算资源,所以 API、企业知识库和 Agent 才会按 Token 计量成本。
中文不是一个字固定等于一个 Token,模型会按自己的分词表切开。真实计数以具体模型的 tokenizer 为准。
AI 为什么不用字数收费
我们看一句话,会按语义去读。模型处理之前,会先把文字切成 Token,再把 Token 映射成数字向量,最后通过大量矩阵计算生成下一个 Token。按 Token 计量,是因为这更接近模型真实的工作量。
包括你的问题、粘贴的资料、系统提示词、历史对话、知识库召回片段。AI 要先读懂这些内容,读的过程就会消耗 Token。
例子:帮我写一个营销方案 + 背景资料 + 输出要求AI 每生成一句话,也是在一颗一颗地预测 Token。回答越长、越细、越多版本,输出 Token 就越多。
例子:500 字方案、表格、标题、执行清单很多人只盯着自己问了多少,其实 AI 回答也要算。做 AI 客服、知识库和 Agent 时,真正要管的是每次任务的完整 Token 链路。
成本感:读资料也花钱,写答案也花钱一个模型标着 32K、128K 或更大的上下文,意思是它一次最多能“看见”这么多 Token 左右的内容。窗口越大,能放进来的资料越多,但也更容易产生两件事:读得更贵,重点更容易被杂音冲淡。
这是教学估算,不代表某个模型真实价格。真正上线前,要把实际模型价格、缓存、重试、知识库召回和失败重跑都算进去。
用户问题、历史记录、商品资料、标准话术都会成为输入;每次回复又产生输出。量大后成本会被放大。
100 页报告不是“上传一下就免费读完”。资料越长,输入 Token 越多,模型读完整份资料的成本越高。
知识库会先检索资料,再把相关片段塞进对话。召回太宽,会让模型读很多无关内容。
Agent 会多轮规划、调用工具、观察结果、继续修正。一次任务背后可能不是一次调用,而是一串调用。
本节练习
不要背“Token 是词元”就停了。选一个你会反复使用的 AI 场景,把输入、输出、调用次数和可压缩部分标出来。