04 第一篇章 · 大模型从哪来
GPT 的跃进：PreTraining 为什么改变了一切
GPT 的真正突破，不只是聊天更自然，而是 AI 的学习方式变了。过去很多 AI 靠人写规则、做专用任务；PreTraining 出现后，模型先从海量数据里学习语言、知识和规律，再迁移到写作、代码、翻译、总结、分析和对话等任务。
一句话回答
PreTraining 最大的改变，是让 AI 从“被人写规则”变成“自己从海量数据里学规律”。GPT 先通过预训练形成通用理解和生成能力，再经过微调、人类反馈和产品化，才变成今天能写作、写代码、分析、对话和执行任务的 AI 助手。
01 GPT 出现前，AI 主要靠什么
before pretraining
先理解旧时代，才看得懂跃进
过去很多 AI 更像专用工具：人写规则，机器执行
比如垃圾邮件分类、机器翻译、图片识别，早期常见思路是：专家先设计规则或特征，再让模型完成一个固定任务。问题是，规则写到哪里，AI 能力就到哪里；换一个任务，往往要重新设计。
02 PreTraining 到底是什么
how it works
1准备海量数据文本、代码、论文、新闻、网页、书籍等，都是学习材料。
2切成 Token把文字变成模型能计算的小颗粒。
3预测下一个看到“小明去学校，带了一个”，练习预测“书包”。
4猜错就调整通过大量纠错，慢慢调整内部参数。
5形成通用能力学到语言、知识、代码和任务结构之间的规律。
03 最大突破：从做题到学习
rules vs learning
旧 AI 更像做一道固定题，GPT 更像先学会语言规律
规则式 AI
人工写规则：出现“免费中奖”“点击领取”等词，就提高垃圾邮件概率。
预训练大模型
先从大量文本中学习邮件语气、上下文、意图和常见表达，再迁移到分类、解释和生成。
04 为什么 PreTraining 是历史转折点
why it matters
AI 不再只依赖人类手写规则
模型从海量样本里学习规律，人不需要把每一种情况都提前写死。
一个基础模型可以迁移到很多任务
写文章、写代码、翻译、总结、分析、对话，不再每个任务都从零做一个模型。
数据、参数和算力放大了模型能力
模型越能表达复杂规律，就越可能出现写作、推理、代码等综合能力。
Transformer 让模型更会看上下文
它能同时关注一句话里的不同部分，理解“苹果公司”和“苹果水果”的区别。
05 GPT 训练通常分三个阶段
three stages
PreTraining 预训练先大量阅读，学习语言、常识、知识结构和代码模式。
Fine-tuning 微调教它更像助手：用户让你写邮件，就按需求写邮件。
RLHF 人类反馈人类比较答案好坏，让模型更偏向有用、清晰、友善的回答。
06 PreTraining 带来了 Foundation Model
clear boundary
一个大脑底座，支撑多种能力
GPT 不只是某个小工具，而是可以连接写作、代码、翻译、分析等任务的通用底座。
预训练不是把资料原文装进去
模型改变的是参数和关联能力，不是保存一本可以随时精确查询的互联网副本。
复杂任务需要通用理解能力做底座
Agent 要理解目标、拆步骤、调用工具、判断结果，这些都离不开预训练带来的基础能力。
07 最后用一个公式记住
simple formula
GPT 的跃进 = 海量数据 + 预训练 + 大模型 + 微调对齐 + 产品化
PreTraining 最大的意义，是让 AI 从专用软件走向通用大脑。以前 AI 更像一个个功能按钮；现在 AI 开始接近数字员工，可以理解任务、生成内容、连接工具，并参与完整工作流程。
本节小结
- PreTraining 让 AI 从“规则驱动”变成“数据学习”。
- GPT 先通过预测下一个 Token 学会语言、知识和规律。
- 模型规模、数据规模和 Transformer 架构共同放大了能力。
- Foundation Model 是 AI Agent 的大脑底座，真正落地还要连接工具和流程。