算大模型显存和并发预算｜AI工程师AI场景表格模板

要准备的

关于这件事怎么办

为什么我按公式算的并发和表里不一样？

表里额外扣了框架开销和显存余量，并按目标序列长取最坏情况；实际并发受请求长度分布影响，建议留 20% 余量。

INT4 量化后权重显存怎么估？

按每参数约 0.5 字节粗估权重，再叠加量化缩放参数开销；精度损失需用评测集单独核，不能只看显存。

多卡张量并行时 KV 缓存怎么分摊？

KV 缓存按注意力头切分到各卡，总显存按卡数累加；但权重和缓存比例会变，需按切分后每卡剩余显存重算并发。

算大模型显存和并发预算需要准备什么？

需要填的是：卡型、卡数量、模型参数量、精度/量化、最大序列长、目标并发数、KV缓存精度、模型结构。每一项点一下就行，多数不用打字。点「直接办这件事」就开工；没选全也能先办，回头补了随时能改。

能拿到什么成果？

交付形式是表格——平台直接做好表格，能下载成 Excel。在GPT中文网（www.gpt.com.cn）按字段填完即可拿到。文字类成果免费生成，免注册即可试。

什么情况下需要算大模型显存和并发预算？

手算 KV 缓存容易漏项，拍脑袋定并发，上线后 OOM 或吞吐不达标再返工。遇到这种情况，把信息按字段点选一遍，AI 按你点的出成品，不用自己琢磨怎么说。

适合谁用？

要做私有化部署或推理服务的大模型/AI 工程师。不需要 AI 使用经验，按字段填完即可。