CHAO AI LEARNING PATH

AI 知识库

从基础认知到真实项目,把零散知识整理成可以持续学习的路径。 继续学习 Token:AI 的计量单位
22学习模块 119已上线课程 10%当前章节
LEARNING MODULES

选择学习方向

新手概念篇Token:AI 的计量单位

03 第零篇章 · 第一次系统认识 AI

Token:AI 的计量单位

第一次看 AI API、产品套餐和百万 Token 价格时,最容易卡住的不是技术,而是搞不清 AI 到底按什么单位工作。这一页先把 Token 讲成人话。

一句话回答

人类用文字交流,AI 用 Token 计算世界。Token 可以理解成 AI 读写内容时使用的“小颗粒”:你发给它的内容叫输入 Token,它写回来的答案叫输出 Token。模型每读一颗、每写一颗,都要消耗计算资源,所以 API、企业知识库和 Agent 才会按 Token 计量成本。

01 先把一句话切开看,Token 不是字数 tokenizer lab
原句

我喜欢学习人工智能

喜欢学习人工智能
9字符数 5教学估算 Token 约 1.8 字符/Token不同模型会变化

中文不是一个字固定等于一个 Token,模型会按自己的分词表切开。真实计数以具体模型的 tokenizer 为准。

AI 为什么不用字数收费

模型看到的不是“字”,而是一串可计算的编号

我们看一句话,会按语义去读。模型处理之前,会先把文字切成 Token,再把 Token 映射成数字向量,最后通过大量矩阵计算生成下一个 Token。按 Token 计量,是因为这更接近模型真实的工作量。

文字我喜欢学习人工智能 切成 Token我 / 喜欢 / 学习 / 人工 / 智能 变成数字模型能计算的向量 模型推理计算下一步该说什么 输出答案再把 Token 还原成文字
02 一次对话,其实有两份 Token 账单 input + output
IN

输入 Token:你给 AI 的信息

包括你的问题、粘贴的资料、系统提示词、历史对话、知识库召回片段。AI 要先读懂这些内容,读的过程就会消耗 Token。

例子:帮我写一个营销方案 + 背景资料 + 输出要求
OUT

输出 Token:AI 写给你的答案

AI 每生成一句话,也是在一颗一颗地预测 Token。回答越长、越细、越多版本,输出 Token 就越多。

例子:500 字方案、表格、标题、执行清单
=

总消耗 = 输入 + 输出

很多人只盯着自己问了多少,其实 AI 回答也要算。做 AI 客服、知识库和 Agent 时,真正要管的是每次任务的完整 Token 链路。

成本感:读资料也花钱,写答案也花钱
03 上下文窗口:AI 一次能装下多少内容 context window

上下文窗口不是永久记忆,而是这次任务的工作台

一个模型标着 32K、128K 或更大的上下文,意思是它一次最多能“看见”这么多 Token 左右的内容。窗口越大,能放进来的资料越多,但也更容易产生两件事:读得更贵,重点更容易被杂音冲淡。

8K适合短问答、轻量文案 32K适合长文章、会议纪要、简单资料包 128K+适合报告、合同、项目文档和长对话
04 100 万 Token 到底是多少成本感 cost simulator
单次任务3000 Token 每日消耗90 万 Token 月度估算约 151 元

这是教学估算,不代表某个模型真实价格。真正上线前,要把实际模型价格、缓存、重试、知识库召回和失败重跑都算进去。

05 哪些地方最容易产生 Token 成本 real scenes
01

AI 客服

用户问题、历史记录、商品资料、标准话术都会成为输入;每次回复又产生输出。量大后成本会被放大。

02

长文总结

100 页报告不是“上传一下就免费读完”。资料越长,输入 Token 越多,模型读完整份资料的成本越高。

03

企业知识库

知识库会先检索资料,再把相关片段塞进对话。召回太宽,会让模型读很多无关内容。

04

Agent 工作流

Agent 会多轮规划、调用工具、观察结果、继续修正。一次任务背后可能不是一次调用,而是一串调用。

06 如何减少 Token 浪费,不是越省越好 save tokens
删掉无关背景不要每次复制几千字历史,只保留本次任务需要的事实、限制和目标。 把长资料先压缩先让 AI 提炼摘要、结论、证据和待确认项,再进入下一轮任务。 限制输出长度明确要求“先给 5 条结论”或“控制在 300 字内”,避免输出层浪费。 任务分层处理简单分类、格式转换用轻量模型;复杂推理、代码和决策再交给强模型。 知识库召回要窄别把整库都塞进去,检索结果要和问题强相关,必要时分段追问。 缓存常用内容固定说明、产品参数、标准话术可以做成模板或缓存,减少重复读入。

本节练习

拿一个真实任务,算一次 Token 账

不要背“Token 是词元”就停了。选一个你会反复使用的 AI 场景,把输入、输出、调用次数和可压缩部分标出来。

输入我每次要给 AI 多少资料? 输出我真的需要这么长的回答吗? 频率一天会调用多少次? 窗口需要多大上下文才够? 优化哪些内容能摘要、缓存或删掉?

本节小结

  • Token 是 AI 处理信息的计量颗粒,不等于字数,真实切法由模型分词器决定。
  • 一次调用通常同时消耗输入 Token 和输出 Token,长资料和长答案都会变成成本。
  • 上下文窗口越大,AI 一次能看见的内容越多,但不代表可以把无关信息都塞进去。
  • 真正会用 AI 的人,会同时管效果和成本:该给的信息给足,不该给的信息及时删掉。