推理成本栈（一个 token 到底花多少钱）

本页目录（7 节）

• 一句话瓶颈
• 原理：讲到你能复述
• 新手词汇表
• 现状与路线图（技术地图，非买卖建议）
• 技术因果：卡住谁 / 利好谁
• 📌 对投资的含义（一行，详见公司卡）
• 更新日志

最近更新：2026-07-04 关联：横跨第 4/5 层（算力与芯片）；相关公司卡 英伟达 NVDA（推理算力主力/被效率侵蚀端）、博通 AVGO（自研 ASIC=推理专用芯片）、美光 MU（内存带宽=推理头号瓶颈）、CoreWeave CRWV（租 GPU 做推理的成本承受方）。投资判断在那边，本卡不展开。

技术卡的本职是瓶颈地图。这张卡特殊：它不是某个硬件瓶颈，而是整条链头号悬念（ROI 缺口）的技术底座——"AI 会不会赚钱"最终等于"一个 token 的成本降多快、用量涨多快"。配套 效率突跃尾部专题（判断/变体）与台账 L-13。

一句话瓶颈

AI 公司每回答你一句话，都要烧一笔真金白银的算力钱（"推理成本"）。这笔成本每降一半，同样的收入就多赚一倍；但如果降得太快、用量没跟上，砸下去的天量 GPU 就可能变成过剩产能。 所以"单位 token 成本往哪走"是判断整条 AI capex 链值不值的总开关的技术侧。

原理：讲到你能复述

第一步：一个 token 的成本公式（拆到能算）

一个模型每吐出一个词（token），成本大致由三样东西相乘决定：

单 token 成本 ≈（这一步要做多少次计算）×（每次计算多少钱）÷（芯片有没有被喂饱）

• 要做多少次计算：模型有多少"参数"（可以理解为模型脑子里的旋钮数量）。一个稠密模型每吐一个 token，粗略要把全部参数过一遍（业界约数 ≈ 2×参数量 次浮点运算）[T2·工程近似]。700 亿参数的模型，吐一个字就要约 1400 亿次乘加。
• 每次计算多少钱：芯片的性价比（每次浮点运算摊多少电费+折旧）。
• 有没有被喂饱（利用率）：这是最反直觉的一点——推理时 GPU 经常不是算不过来，而是"等数据"。见下。

第二步：为什么推理"卡在内存、不卡在算力"（关键机制）

• 当只有一个用户、一次生成一个 token 时，GPU 每吐一个字，都要把整个模型的参数从内存（HBM）搬进计算核心读一遍。参数动辄几百 GB，搬运速度（内存带宽）跟不上，计算核心就干等——推理是"内存带宽瓶颈"，不是"算力瓶颈"（这跟训练不同，训练是算力瓶颈）。[T1·MLPerf v6.0 实测：B200 单卡吞吐 ≈ H200 的 2.5×，主因 HBM3e 带宽 8.0 vs 4.8 TB/s + FP4；MLPerf 明言"带宽翻倍→吞吐近乎翻倍"]
• 这解释了两件大事：① 为什么 HBM 带宽对推理这么关键（喂得快才吐得快）；② 为什么"把很多用户的请求攒成一批一起算"（batching）能把成本打下来——参数只搬一次，却同时服务几十上百个请求，利用率从个位数拉到 70%+。这是系统层降本的头号招法。

第三步：成本栈的三层，各有各的降本招法

把降本手段按"降的是公式里哪一项"分成三层：

第四步：哪层降得最快（这决定投资含义）

• 模型层降得最快、也最"危险"：算法效率（达到同等能力所需的计算量）约 3.0×/年（预训练口径，doubling ~7.6 个月，90% CI 2.8–4.4×），快于硬件摩尔定律（硬件约 2–3 年翻倍）[T2·Epoch AI，截至 2026-02，✅2026-07 雷达回核]。硬件层最慢最可预期（跟着台积电制程走），系统层是一次性大跳变（vLLM 这类开源工具一出，全行业几个月内吃到）。
• 三层叠加的净效果：达到"某个固定能力水平"的单 token 推理成本，约 40×/年、每 ~2 个月腰斩（但随能力档位在 9×–900×/年 剧烈波动，越老的能力降得越狠）[T2·Epoch AI，✅2026-07 雷达回核，取代旧的"~10x/年"粗估]。
• 为什么这既是好事又是风险（全卡的题眼）：

成本降 = 好事还是坏事，取决于用量涨得比成本降得快还是慢。 - 成本降 + 用量涨得更快 → 总推理支出上升（Jevons 悖论）→ 利好整条 capex 链。 - 成本降 + 用量见顶 → 总推理支出持平甚至下滑 → 天量 GPU 变过剩，capex 预期被打骨折。 这正是 ROI 缺口专题与 效率突跃尾部的技术根：单看"成本在降"推不出结论，必须同时看"总支出往哪走"。两者要分开读——这是本卡给整个库的一条硬纪律。 📊 2026-07 现实读数（技术雷达）：单位推理成本 ~40×/年暴跌，但训练算力仍 +5×/年、部署芯片总算力 +3.4×/年 [Epoch]——Jevons 正在赢、总投入仍在涨、效率突跃尾部（L-13）尚未触发。扳机 = 训练算力增速首次显著减速。

新手词汇表

• token（词元） = 模型处理文本的最小单位，约等于一个词或半个词。计费和成本都按 token 算。
• 参数 = 模型脑子里的"旋钮"数量，越多通常越强、也越贵。
• 内存带宽 = 每秒能从内存搬多少数据（推理的头号瓶颈指标，不是"算力"也不是"容量"）。
• 量化（quantization） = 用更少的比特存每个参数（如 4 位）以省内存和计算，代价是精度略降。
• 蒸馏（distillation） = 大模型当老师，训出一个便宜的小模型上岗。
• MoE（专家混合） = 模型分成很多专家，每个 token 只激活一小撮，激活参数远小于总参数。
• 批处理（batching） = 把多个用户请求攒一起算，摊薄参数搬运、拉高利用率。
• KV 缓存 = 把已经算过的上下文存起来避免重算；管好它（省显存、别重算）是系统层降本关键。
• 投机解码（speculative decoding） = 小模型先猜、大模型并行验证，猜对就省时间。
• prefill / decode = 推理两阶段：prefill 一次性读完你的问题（算力密集），decode 一个个吐答案（带宽密集）；两阶段特性不同，可拆到不同硬件上跑。

现状与路线图（技术地图，非买卖建议）

• 成熟度：三层都在快速迭代。系统层（vLLM/连续批处理/投机解码）已是开源标配、扩散极快；模型层（FP4 量化、MoE 成主流架构）2025–2026 加速；硬件层进入 Blackwell 放量、推理 ASIC 上量。
• 能做的人（技术卡位客观描述）：模型层由前沿实验室 + 开源社区推动（买不到，见 模型层地图）；系统层开源为主、超大厂各有自研栈；硬件层=英伟达（通用）+ 博通/Marvell 帮超大厂做的推理 ASIC + 内存带宽（HBM 三家）。
• 下一代焦点：FP4/更激进量化的精度守住能到哪、推理 ASIC 抢走多少推理份额、prefill/decode 分离式部署普及度、超长上下文把 KV 缓存成本重新顶上去（新的成本压力点）。

技术因果：卡住谁 / 利好谁

• 成本降得快 = 侵蚀谁：最押"要砸很多 GPU 才不掉队"的名字最脆——单一芯片型 neocloud（CoreWeave）、单卡折旧假设、通用 GPU 的推理份额（英伟达推理端被推理 ASIC 分食）。
• 成本降得快 = 利好谁：推理专用 ASIC（博通 AVGO 帮超大厂做的 XPU）、端侧 AI（成本够低才能塞进手机，见 Qualcomm）、应用层（智能变便宜→更多落地→Jevons）。
• 内存带宽仍是硬约束：不管怎么降，推理的带宽瓶颈让 HBM与 美光持续吃需求——除非模型层把参数搬运量降到不再是瓶颈。
• 谁把"总推理支出"曲线掰弯，决定整条 capex 链的命运——这是本卡最关键的技术变量，也是 ROI 缺口的裁判。

📌 对投资的含义（一行，详见公司卡）

→ "成本在降"是事实、但推不出买卖结论——要同时看"总推理支出"往哪走（Jevons vs 打骨折）；这决定整条 capex 链的贵贱。详细估值/多空/盯什么见 英伟达、博通、美光、CoreWeave；判断/变体见 效率突跃尾部专题（台账 L-13）与 ROI 缺口专题。

更新日志

• 2026-07-04 建卡（F1 队列首张，宪法 Part 3·F）：把 ROI 缺口/效率突跃从"金融判断"补上技术底座——单 token 成本公式 + 推理为何是内存带宽瓶颈 + 三层降本招法 + "成本降≠总支出降"的分读纪律。同步在 论点台账.md L-13 行留痕。
• 2026-07-04 技术雷达 F3 回核（同日，见 报告/技术雷达日志.md 2026-Q3）：三处 T2/估算回 T1/权威源——① 算法效率 3.0×/年、推理成本 40×/年（每 2 月腰斩）[Epoch]，取代旧"~10x/年"粗估；② 内存带宽瓶颈从"工程共识"升级为 MLPerf v6.0 实测（B200 2.5×H200/带宽驱动）；③ 加 2026-07 现实读数（成本暴跌但总算力仍 +5×/+3.4×/年=Jevons 正赢、L-13 未触发）。

来源：内存带宽瓶颈/批处理机制为 [T1·公开工程共识]（vLLM/PagedAttention 论文、各家推理服务文档）；算法效率翻倍速度 [T2·Epoch AI，待核原始数据]；~10x/年降本 [T2/估算·口径混乱不作承重]；推理 ASIC 性价比见 自研 ASIC 卡与 ASIC vs GPU 推理账专题。