AI 存储层级(HBM 之下,AI 一路吃到硬盘)

技术卡 · 瓶颈地图更新 2026-07-04≈7 分钟读完
本页目录(7 节)

最近更新:2026-07-04 关联:第 5 层(内存/存储)+ 第 7 层(数据中心);相关公司卡 美光 MU(美股唯一规模化 DRAM+NAND)、SK海力士(HBM+NAND,韩股)。投资判断在那边,本卡不展开。 上接 HBM 卡(金字塔塔尖),本卡讲塔尖以下(DRAM/NAND/HDD)+ 新机制。

分工:HBM 卡讲"塔尖的带宽瓶颈",本卡讲"AI 为什么把整座存储金字塔从上吃到下、以及每层的供需紧张"。不重复 HBM 原理。

一句话瓶颈

大家都盯着 HBM,但 AI 的胃口正沿着存储金字塔一路往下吃——先是 HBM,然后是服务器 DRAM,再是 NVMe 固态硬盘(NAND),最后连机械硬盘(HDD)都被扫空。"AI 只吃 HBM"是过时印象;2026 年从企业 SSD 到 30TB 机械硬盘全线售罄涨价,是一个更广、更被低估的瓶颈面。

原理:讲到你能复述

第一步:存储金字塔——越往上越快越贵、越往下越大越便宜

数据中心把存储分成四层,像一座金字塔:

是什么特点谁做
① HBM贴在 GPU 上的超高带宽内存最快、最贵、容量最小(几十 GB/卡)SK海力士/美光/三星(见 HBM 卡
② DRAM(服务器内存)GPU 服务器里 CPU 用的主内存(DDR5)快、比 HBM 便宜、容量中等(几 TB/机)美光/SK海力士/三星
③ NAND / NVMe SSD固态硬盘,用闪存芯片持久保存、比 DRAM 慢但比硬盘快、容量大美光/SK海力士(Solidigm)/三星/铠侠
④ HDD(机械硬盘/近线存储)传统转盘硬盘最慢、最便宜、容量最大(30TB+/个)希捷 STX/西部数据 WDC(双寡头,已建卡)

关键区别:HBM 拼的是带宽(喂得多快),NAND/HDD 拼的是容量密度 + 每 GB 成本(存得多便宜)。它们是不同的生意、不同的周期。

第二步:AI 为什么把整座金字塔从上吃到下(本卡的核心新机制)

三条需求把 AI 从"只吃 HBM"扩展到"吃光全金字塔":

  1. KV 缓存外溢(最关键、最新):模型推理时要记住之前算过的上下文(KV 缓存,见 推理成本栈系统层)。上下文窗口越做越长(几十万 token)+ 推理模型"想很久"→ KV 缓存爆掉 HBM 装不下 → 只能往下溢:溢到 DRAM,再溢到 NVMe SSD。英伟达 2026 年把这套"外溢"标准化了(Dynamo 引擎 / CMX 上下文内存平台 / CES 2026 发布的 ICMSP,把推理上下文卸载到 NVMe SSD)[T2·英伟达技术博客/行业报道]。→ 这条把"推理"从纯算力消费者,变成了存储消费者——是存储需求最被低估的新引擎。
  2. 训练数据湖 + 合成数据:训练要喂海量数据,2026 的后训练/合成数据生成又造出更多数据要存——吃的是③④层的高密度容量。
  3. 检索(RAG):让模型查外部知识库,需要快速存取向量/文档——吃②③层。
一句话记住训练和"想得久的推理"都在制造数据、也在消费数据 → 金字塔每一层都被 AI 加需求,不只是塔尖。

第三步:为什么会紧张(供给侧的挤出效应)

新手词汇表

现状与路线图(技术地图,非买卖建议)

技术因果:卡住谁 / 利好谁

📌 对投资的含义(一行,详见公司卡)

"AI 只吃 HBM"是过时印象——KV 缓存外溢 + 数据湖把需求压到整座存储金字塔(DRAM/NAND/HDD 全线紧张),但这仍是周期生意(涨价周期总有顶);且 HDD 近线是本库尚未覆盖的纯受益盲点。 详细估值/多空/盯什么见 美光 MU(有估值报告:低 PE 周期顶陷阱)、SK海力士;HBM 塔尖见 HBM 卡

更新日志

来源:NAND 市场规模/AI 占比/挤出 T2·[Avnet 2026 内存超级周期TrendForce];KV 缓存外溢/CMX/ICMSP T2·[NVIDIA 技术博客Blocks&Files];HDD 近线售罄/+25% T2·[Forbes/Coughlin];美光企业 SSD/数据中心承重数字见 美光卡第一档。