网页、文章、书籍和公开知识
这类数据帮助模型学习语言表达、常识关联、知识结构和不同主题的写法。它让 AI 能回答很多通用问题。
能学到
语言规律和通用知识
注意：公开文本不代表全都正确，旧信息和低质量内容也可能影响模型。
04 第一篇章 · 大模型从哪来
AI 吃进去的是什么？训练数据
进入第一篇章，我们先回答一个最基础的问题：AI 的能力从哪里来？答案不是魔法，也不是聊天时临时上网学会，而是来自训练阶段吃进去的大量数据。
一句话回答
训练数据就是 AI 学习的材料。它像给学生看的书、题目、代码和案例，但模型不是把它们整本背下来，而是在训练中学会语言规律、知识关联和生成方式。
01 先看总框架
data to ability
1资料来源网页、书籍、代码、图片、对话、公开资料。
2清洗筛选去重、过滤低质内容、处理格式和安全问题。
3切成 Token把文字和信息变成模型能计算的小单位。
4反复训练预测、犯错、纠正，不断调整内部参数。
5形成能力理解语言、写代码、回答问题、生成内容。
02 AI 不是把资料塞进一个数据库
not storage
一个最容易误解的地方
训练不是“存资料”，而是“练能力”
很多人以为训练 AI，就是把文章、图片和代码直接装进模型里。其实训练更像长期做题：模型看到大量样本，预测下一个词或结果，答错就调整参数。最后留下来的不是某篇文章全文，而是处理问题的能力。
数据学习材料
→
训练反复纠错
→
参数内部能力
→
回答实时生成
03 训练数据通常来自哪里
sources
公开文本网页、百科、书籍、文章、问答内容，让模型学会语言和通用知识。
代码数据开源代码、文档、示例项目，让模型具备编程和理解代码结构的能力。
对话样本问答、指令、人工标注样本，让模型更像助手一样回应用户。
多模态资料图片、标签、音频、视频片段，让模型理解图像、声音和场景。
04 点一类数据，看 AI 能学到什么
source lab
05 数据越多就一定越好吗
quality matters
没有足够样本，模型很难形成通用能力
大模型之所以强，是因为见过非常多语言、代码、任务和表达方式。数据规模越大，覆盖面通常越广。
脏数据越多，错误也会被学进去
重复、过期、错误、偏见、垃圾内容都会影响模型。好的训练不是只拼数量，还要筛选、清洗和评估。
06 四个概念不要混在一起
clear boundary
训练数据训练阶段使用，影响模型参数和基础能力。
聊天记录当前对话用于回答你，是否进入训练要看产品政策。
上传资料给当前任务使用，通常不会直接改变模型能力。
企业知识库外部资料库，让 AI 回答时查资料，更适合私有业务知识。
07 为什么创业者和老板要懂这个
business view
懂训练数据，不是为了当算法工程师
它决定你怎么判断模型、数据和企业 AI 方案
如果一个模型在你的行业表现一般，不一定是模型“笨”，可能是训练数据里缺少足够高质量的行业样本。企业落地时，通常先用知识库补充私有资料，再用流程和评测保证回答可靠。
选模型看它是否适合你的语言、行业和任务。
建知识库把企业资料作为外部依据，而不是盲目重训。
做合规敏感数据、客户隐私、版权内容不能随便用。
08 一张图记住训练数据
simple model
数据AI 学习的材料
+
训练不断纠错的过程
=
参数能力模型内部形成的能力
本节小结
- 训练数据是 AI 学习的材料，不是 AI 直接保存的一本资料库。
- 模型通过预测、犯错、纠正来调整参数，最终形成能力。
- 数据质量很关键，错误、过期、重复和偏见都会影响模型表现。
- 企业私有资料优先做知识库和流程，不要一上来就训练大模型。