大模型本地部署需要多少显存？

先说明两点：一是模型迭代很快，具体型号与参数量以官方当期发布为准，本文讲的是估算方法；二是这里是选型阶段的理论估算，不是采购依据，最终配置需要在真实并发与上下文长度下实测。

一、显存花在哪里

• 模型权重：参数量 × 每个参数占用的字节数。这是固定成本，只要模型加载就占用。
• KV 缓存：每个正在处理的会话都要保存上下文的中间结果，随并发数和上下文长度线性增长。文档问答、长合同审查等长上下文场景尤其明显。
• 运行时开销：激活值、显存碎片、推理引擎自身占用，通常预留约 10%。

二、权重显存速查表

下表按每参数字节数估算（4bit 约 0.65 字节，已含量化格式的额外开销；8bit 约 1.1；FP16 为 2），为权重本身的占用，不含缓存。

671B 级为混合专家（MoE）结构，每次推理只激活一部分参数，但全部权重仍需常驻显存，所以显存需求按总参数量计算，而不是按激活参数量。

三、并发缓存怎么估

KV 缓存与模型层数、注意力头配置、上下文长度和精度有关，精确值需要按具体模型计算。选型阶段可以用经验值：约 8K 上下文下，每路并发的缓存大致为 14B 级 0.8 GB、32B 级 1.2 GB、70B 级 2 GB 左右；上下文拉到 32K，缓存约增加到 4 倍。

并发数不等于使用人数。以问答和文书为主的场景，同时在线的比例通常在 15% 左右；合同审查、翻译、批量批改这类重场景会更高。可以先用 15%～25% 估算，再用实际使用情况校准。

四、折算成卡数：一个例子

假设一家 50 人的律所，主要做知识库问答和文书初稿，选 32B 级模型 4bit 量化：

• 权重约 21 GB
• 并发按 15% 计，约 8 路，缓存约 8 × 1.2 ≈ 10 GB
• 合计 × 1.1 ≈ 34 GB
• 按单卡 48 GB 的 90% 可用（约 43 GB）折算，1 张卡可以起步

如果换成 70B 级、200 人、含合同审查（并发按 25%，约 50 路）：权重约 46 GB，缓存约 100 GB，合计约 160 GB，按 48 GB 卡折算需要 4 张以上，并要考虑多卡并行的效率损耗。

你可以直接用 配置计算器 按自己的人数和场景算一遍。

五、几个容易忽略的点

• 量化有代价：4bit 比 8bit 节省近一半显存，但可能带来精度损失，应该用您自己的评估集验证，而不是只看通用榜单。
• 多卡不是线性加速：卡间通信会带来损耗，卡数越多越明显；同样总显存，少量大显存卡通常比多张小卡更省心。
• 嵌入模型和重排序模型也要占显存：知识库方案还需要它们，通常占用不大，可以与主模型共卡。
• 显存够不等于速度够：响应速度还取决于显存带宽、算力和推理引擎。不同国产卡与 NVIDIA 卡之间差异明显，需要实测。
• 不要为了“满血”而满血：多数文档检索、问答和文书初稿场景，把预算投在文档处理和检索设计上，收益往往大于把模型堆大一档。

常见问题