训练数据与数据墙（scaling 三条腿里最缺卡的那条）
最近更新：2026-07-07 关联：第 2 层（模型层）；相关卡 模型技术态势（scaling 全景）、推理成本栈（范式转移的另一头）；相关公司卡 谷歌、Meta（专有数据流）、Snowflake/MongoDB（企业数据层）。投资判断在那边，本卡不展开。
一句话瓶颈
Scaling 三要素——算力 × 参数 × 数据——前两个能用钱堆，第三个不能：高质量的人类文本是有限资源，而且已经快被读完了。"数据墙"决定了预训练这条腿还能走多远、以及谁手里的私有数据会突然值钱。
原理：讲到你能复述
- 模型为什么吃数据：预训练就是"预测下一个词"，模型的全部知识来自读过的 token。想要更强的模型，不能只加参数——Chinchilla 定律（2022）：算力用得最划算时，参数和数据要一起变大（经验比例约每个参数配 ~20 个 token）[T1·论文]。算力涨 10 倍，数据也得涨约 3 倍——这就把"数据存量"变成了和算力并列的硬约束。
- 墙在哪：存量有限：互联网上"高质量、可用于训练"的公开人类文本存量是有上限的（书、论文、代码、优质网页；社交媒体灌水不算数）。Epoch AI 的估计：按前沿模型的消耗速度，公开高质量文本在 2026–2032 年间被用尽（中位估计 ~2028）[T2·Epoch]。前沿实验室实际上已在"复读"（多轮训练同一批数据，边际收益递减）。
- 墙的真实形状（关键理解）：撞的不是一堵硬墙，是边际质量墙——不是"没数据了"，是"新增的每个 token 越来越水"。所以表现为预训练收益递减，而不是训练突然失败。这正是"朴素预训练撞墙"成为共识的机制底座（F3 技术雷达 2026-Q3 已确认此共识 [T1 论文+T2 共识]，见技术雷达日志）。
- 四条绕墙的路（谁在补数据）：
- 合成数据——用强模型生成训练数据教下一代（蒸馏/自博弈）。已是标配（开源追平前沿的重要原因之一，MoE+蒸馏，见雷达 2026-Q3）；风险是 model collapse（模型反复吃自己的输出会退化 [T1·Nature 2024 论文]），但工程上"合成数据+真实数据锚定+过滤"可控 [T2·争议中]。
- 换范式：从"读更多"到"想更久"——RL + test-time compute（o1 范式）把需求从"文本存量"转向"可验证任务与环境"（数学、代码、可打分的流程）。这是数据墙最重要的下游后果：预训练撞墙没有封死能力上限，它把军备竞赛从"抢文本"改道成"造 RL 环境 + 堆推理算力"（接推理成本栈）。
- 多模态——视频/图像数据量巨大且远未用尽，但单位信息密度低、算力成本高——是"缓坡"不是"新大陆" [T2]。
- 私有与授权数据——公开数据吃完，付费数据登场：Reddit 对谷歌 ~$60M/年 的授权（2024）[二档·史实]、新闻集团批量授权；标注与 RL 环境供应商成为新稀缺（Scale AI——Meta 2025-06 以 ~$14.3B 收其 49% [二档·史实]——及 Surge 等，全部私有，无上市标的）。
- 为什么这是"瓶颈"而不只是话题：数据是三条腿里唯一不能靠 capex 直接解决的——买得到 GPU 和电，买不到"还没被写出来的高质量文本"。绕墙四条路各自把稀缺转移到新位置：合成数据转移到"教师模型质量"、RL 转移到"可验证环境"、授权转移到"谁拥有独家数据流"。
新手词汇表（看懂这张卡需要的几个词）
- token = 模型的"字"；训练量和数据存量都用 token 计。
- 预训练 / 后训练 = 先海量读文本学会语言和知识（预训练），再用小得多的数据教它按人的要求干活（后训练：SFT/RLHF/RL）。
- Chinchilla 最优 = 给定算力下"参数×数据"的最划算配比（~20 token/参数）。
- 合成数据 = 模型生成的训练数据；model collapse = 模型反复训练自己产物导致的退化。
- RL 环境 = 让模型在其中试错、按结果打分的可验证任务集（代码测试、数学判分、模拟业务流程）——推理范式时代的"新数据"。
- 数据引力 = 数据搬不动，所以计算和 AI 会向数据所在处靠拢（企业数据在哪，推理就在哪跑）。
现状与路线图（技术地图，非买卖建议）
- 成熟度：公开文本≈开采殆尽期；合成数据=量产标配；RL 环境=快速扩张的新前线（前沿实验室数据支出的增量主要流向这里）[T2·待雷达核]；多模态=缓坡储备。
- 谁握着"还没被吃掉的数据"（技术卡位客观描述）：谷歌（搜索+YouTube+图书）、Meta（社交行为流）、微软（GitHub+Office 工作流）、特斯拉（驾驶视频，无卡）、企业各自的私有业务数据（经由 RAG/微调间接入模型，不出企业边界）。
- 下一代竞争焦点：① RL 环境的规模与质量（能造出多难、多真实的可验证任务）；② 独家数据授权的价格发现（Reddit 式合同会越来越贵还是被合成数据替代）；③ 企业数据引力最终沉淀在哪层（云平台 vs 数据云 vs 模型厂）。
技术因果：卡住谁 / 利好谁
- 卡住：纯"堆文本预训练"路线（收益递减已成共识）→ 资本被迫改道推理/RL——这是训练:推理比迁移的上游原因，最终传导为推理算力需求（HBM/推理芯片受益路径见推理成本栈）。
- 利好：拥有独家数据流的平台（数据从成本项变成资产项）；数据授权卖方（Reddit 等，多无卡）；企业数据层（数据引力 → Snowflake/MongoDB 的 AI 检索叙事的底层逻辑）。
- 对模型层格局（接台账 L-15）：公开数据人人可得+合成数据人人会用 → 数据不再是前沿与开源的分水岭（开源 MMLU 差距归零的机制之一）；差异化被挤向"私有数据流 + RL 环境质量"——这支撑"模型层商品化"的机制判断，但属机制弹药、非新数据。
- 可证伪 / 盯什么：① Epoch 数据存量与消耗估计的更新（墙的时点会漂）；② 大型数据授权合同的单价走势；③ 前沿模型技术报告里合成数据占比的披露；④ RL 环境供应商的融资与营收规模（Scale/Surge 系，二档跟踪）。
📌 对投资的含义（一行，详见公司卡）
→ 数据墙没有纯上市标的；它的投资表达是间接的：专有数据流溢价见谷歌/Meta卡，企业数据层见 Snowflake/MongoDB卡，范式转移的算力后果见推理成本栈与模型层地图。
台账留痕
- 本卡为机制地图，不动概率：为 L-15（模型商品化，68%）补"数据侧趋同"机制底座；为 L-13（效率突跃）补"合成数据+RL 是效率来源之一"的背景。硬数据（Epoch 存量更新）留给技术雷达按季裁判。
更新日志默认折叠 · 原文完整，点开看
- 2026-07-07 建卡（scaling 三条腿中数据腿此前无专卡）。Chinchilla/model collapse 为 [T1·论文]；Epoch 耗尽窗口、RL 环境支出结构为 [T2·待下季雷达回 Epoch 核实]；授权交易金额为 [二档·史实]。
来源：Chinchilla（Hoffmann et al. 2022）、model collapse（Nature 2024）[T1·论文]；数据存量估计 [T2·Epoch AI]；Reddit/Scale AI 交易 [二档·公开报道]；库内交叉引用见文中链接。