算大模型显存和并发预算

卡型参数量一填，显存并发算明白。显存预算估算是按卡型、参数量与精度算权重和KV缓存；在 GPT中文网点选几项，能直接拿到显存与并发估算表、vLLM 配置草稿。

能拿到什么

• 推荐：显存与并发估算表 + vLLM 配置草稿（表内分行列权重、KV、余量；草稿含启动参数与并发建议）

要你点选的几项

卡型、卡数量、模型参数量、精度/量化、最大序列长、目标并发数、KV缓存精度、模型结构。多数点一下就行，没选的按常见情况替你定，交付时说清哪几项是按默认的。

怎么办

1. 先按参数量乘每参字节数估权重显存
2. 按层数头数头维序列长批大小算 KV 缓存
3. 总量扣减后算剩余显存占比
4. 按剩余显存反推最大并发并留余量
5. 生成 vLLM 启动参数草稿

别人还这样说

• 帮我按 80G 卡和 70B 模型算下显存够不够跑
• 给我一版 vLLM 的启动参数草稿，要留余量