如何在自己的 GPU 服务器上私有化部署 DeepSeek-V4

在自己的服务器上运行 DeepSeek-V4，需要什么配置？

要在自己的服务器上运行 DeepSeek-V4，您需要能容纳整个模型（包括每一个专家）的 GPU 显存，外加留给 KV 缓存的空间，以及较新版本的 vLLM 或 SGLang。按我们的选型规则，DeepSeek-V4-Flash 约需 200 GB 显存，DeepSeek-V4-Pro 约需 1,072 GB。一块 B300 就能放下 Flash；Pro 则需要一整台 8 卡 B200 或 B300 服务器。

• DeepSeek-V4-Flash：每月 $3,836 起，配置为 4× RTX PRO 6000；单块 B300 为每月 $4,019（DeepSeek-V4-Flash 的显存需求与服务器）。
• DeepSeek-V4-Pro：每月 $27,512 起，配置为 8× B200（DeepSeek-V4-Pro 的显存需求与服务器）。
• 软件：vLLM 0.25.0 或更高版本，或者 SGLang，并使用官方部署指南中的启动参数。

权重是开放的，因此您部署的是哪个模型，运行的就始终是哪个模型。DeepSeek 自己的 API 已经停用 V4-Flash，发往它的请求会改由 DeepSeek-V4.1-Flash 响应（DeepSeek API 文档）。我们不发布任何基准测试数据：下文的数字都是显存大小和价格，而不是速度。

DeepSeek-V4-Flash 与 Pro：两款模型对比

DeepSeek 于 2026年4月24日发布了 V4 的预览版（DeepSeek）。官方正式版检查点 DeepSeek-V4-Flash-0731 和 DeepSeek-V4-Pro-0813 取代了预览版，并新增了投机解码（speculative decoding）模块 DSpark。我们的目录安装的正是这两个检查点。

来源（核实于 2026年10月19日）：DeepSeek-V4-Flash、DeepSeek-V4-Pro、Flash-0731 和 Pro-0813 的模型卡片。

• 两者都是混合专家模型。每个 token 在 Flash 中经过 13B 参数，在 Pro 中经过 49B，但每个专家都必须驻留在 GPU 显存中，因此要按总参数量来估算显存。
• 原生支持长上下文。由压缩稀疏注意力（Compressed Sparse Attention）和高度压缩注意力（Heavily Compressed Attention）组成的混合架构让 KV 缓存保持在较小规模：DeepSeek 表示，在 1M token 时，Pro 所需的 KV 缓存只有 DeepSeek-V3.2 的 10%。
• 三档推理强度：low、high 和 max。使用 max 时，DeepSeek 建议上下文窗口至少为 384K token。
• 选 Flash 还是 Pro？Flash 最便宜的服务器每月 $3,836，Pro 则为 $27,512。DeepSeek 报告称，在其列出的基准测试中，Flash-0731 的表现优于 Pro 预览版；真正有意义的比较，是用您自己的提示词对比 Flash-0731 和 Pro-0813。

DeepSeek-V4 硬件要求：需要多少显存？

我们用同一种方法估算每个模型：官方权重 × 1.2，为 KV 缓存和激活值留出空间，GPU 显存按 92% 计为可用。这是我们的开放模型页面和部署页面共同采用的规则：

DeepSeek-V4-Flash-0731: 167 GB × 1.2 ≈ 200 GB
DeepSeek-V4-Pro-0813:   893 GB × 1.2 ≈ 1,072 GB

vLLM 的部署指南（Recipes）给出的下限与此相近：Flash-0731 至少需要 200 GB 显存，Pro-0813 至少需要 960 GB（Flash 部署指南、Pro 部署指南）。我们的模型页面为两者各列出一种部署选项：用 vLLM 或 SGLang 运行官方 FP4/FP8 权重；我们的目录中没有这两个模型的 Ollama 版本。按我们的规则，各款 GPU 能放下每个模型的最小服务器如下：

— = 超出该 GPU 最大服务器的容量。不可用 = 我们的目录尚未确认 DeepSeek-V4 的 ROCm 支持，因此我们的模型页面只在 NVIDIA GPU 上提供它。任何 GeForce 服务器都放不下这两个模型：四块 RTX 5090 的可用显存为 118 GB。

能放下 Flash 的最便宜方案是 4× RTX PRO 6000，每月 $3,836，模型通过 PCIe 拆分到各块 GPU 上；一块 B300 每月 $4,019，单卡即可放下。Pro 的最便宜方案是 8× B200，每月 $27,512。20% 的余量足以应对中等长度的上下文和少量同时进行的请求；LLM 需要多少 GPU 显存一文解释了这条规则，选型助手则可以把它应用到任何模型上。

多 GPU：单台服务器放得下什么，放不下什么

一台 GPUCenter 服务器最多配备 8 块 GPU，服务器之间没有通过 InfiniBand 或任何其他高速网络互联，因此模型必须能放进单台服务器。在 8 卡 B300、B200、H200 和 H100 服务器中，NVSwitch 以 NVLink 全速把每块 GPU 与其他所有 GPU 连接起来：Blackwell 上每块 GPU 为 1.8 TB/s，Hopper 上为 900 GB/s，张量并行和专家并行正依赖于这种互联（参见多 GPU）。RTX PRO 6000 和 L40S 则通过 PCIe 通信。

• Flash 的可行配置从 1 块 GPU 到 8 块不等。用一块 B300 就完全不必拆分模型。vLLM 的部署指南在 8 卡 H200、B200 或 B300 服务器上用其中四块 GPU 运行一份 Flash，对 RTX PRO 6000 则验证的是 8 卡服务器配置。
• Pro 只有两种配置放得下：8× B200（可用 1,325 GB）和 8× B300（2,120 GB）。
• Pro 放不进 8× H100（总计 640 GB）、8× RTX PRO 6000（768 GB）或 8× L40S（384 GB）：仅 893 GB 的权重就已超出它们的容量，而且两台服务器无法合并使用。
• 量化也难以让 Pro 明显变小。它的检查点用 893 GB 存储 1.6T 参数，约合每个参数 4.5 位，因为专家本来就是 FP4；vLLM 列出的 NVIDIA NVFP4 版本，最低要求同样是 960 GB。社区也发布了位宽更低的版本（Hugging Face）：它们来自第三方，不在我们的目录中，质量需要您自己测试。

用 vLLM 或 SGLang 部署 DeepSeek-V4

这两个引擎都支持 DeepSeek-V4，也都为它发布了部署指南：vLLM 的 Recipes 和 SGLang 的 Cookbook。开始之前，请注意以下四点：

• 版本。0731 和 0813 检查点需要 vLLM 0.25.0 或更高版本，DSpark 正是在这个版本中加入的；4 月的预览版从 0.20.0 起即可运行。
• 没有聊天模板。官方检查点不附带 Jinja 聊天模板。在 vLLM 中，--tokenizer-mode deepseek_v4 会套用 DeepSeek 自己的编码方式，因此兼容 OpenAI 的接口可以照常使用。
• 启动参数因 GPU 而异。下面的命令适用于 8 卡 B200 和 B300 服务器。在 H200 和 RTX PRO 6000 上，vLLM 的部署指南使用的是其他参数；在 RTX PRO 6000 上运行带 DSpark 的 Flash-0731，目前还需要 vLLM 的 nightly 镜像。
• 绑定到 127.0.0.1 并设置 API 密钥，然后通过 SSH 隧道访问 API。

在 8× B200 或 8× B300 上用 vLLM 运行 Pro，采用部署指南的默认布局：在八块 GPU 上同时使用张量并行和专家并行。

KEY=$(openssl rand -hex 32); echo "$KEY"   # 供客户端使用的 API 密钥
vllm serve deepseek-ai/DeepSeek-V4-Pro-0813 \
  --trust-remote-code --kv-cache-dtype fp8 --block-size 256 \
  --tensor-parallel-size 8 --enable-expert-parallel \
  --attention_config.indexer_kv_dtype=mxfp4 --moe-backend deep_gemm_mega_moe \
  --compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":["all"]}' \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}' \
  --tokenizer-mode deepseek_v4 --tool-call-parser deepseek_v4 --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --host 127.0.0.1 --port 8000 --api-key "$KEY"

若要在大量用户下获得最高吞吐量，部署指南建议改用数据并行，即用 --data-parallel-size 8 代替 --tensor-parallel-size 8，DeepSeek 自己给出的 4 卡节点命令也是这样做的。对于 Flash，请根据您的 GPU 型号和数量，以 vLLM 的 Flash 部署指南为起点。若使用 SGLang，下面是 DeepSeek 模型卡片中的命令，我们将其设为八块 GPU 并绑定到 127.0.0.1，这也是 SGLang 的默认监听地址（SGLang 服务器参数）：

sglang serve --trust-remote-code \
  --model-path deepseek-ai/DeepSeek-V4-Pro-0813 --tp 8 \
  --moe-runner-backend flashinfer_mxfp4 --speculative-algorithm DSPARK \
  --mem-fraction-static 0.90 --chunked-prefill-size 4096 --swa-full-tokens-ratio 0.1 \
  --host 127.0.0.1 --port 30000 --api-key "$KEY"

# 在您的电脑上执行：之后 vLLM API 地址为 http://localhost:8000/v1
ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.10

请把 203.0.113.10 替换为您服务器的地址；使用 SGLang 时，请转发 30000 端口。使用 vLLM 时，客户端可以为每个请求单独选择推理强度，例如 "chat_template_kwargs": {"thinking": true, "reasoning_effort": "high"}；max 强度要求 --max-model-len 至少为 393,216 个 token。安装、Docker 和 TLS 代理的说明见使用 vLLM 部署 LLM 推理服务。

私有化部署 DeepSeek-V4 要花多少钱

包月服务器的价格是固定的，无论生成多少 token 都一样。GPUCenter 上最便宜的可行配置如下：

• 与按小时计费的 GPU 云相比。我们的价格比 40 家 GPU 云的公开按需价格中位数低约 30%：按这个中位价，八块 B200 全天候运行一个月要花 $39,360。以该中位价计算，包月服务器每月运行超过约 510 小时就更划算（各款 GPU 的盈亏平衡点）；如果只测试几天，按小时计费更便宜。
• 与按 token 计费的 API 相比。用月费除以该 API 每百万 token 的价格，就能得出服务器开始划算的用量，然后确认服务器能跟上这样的用量。DeepSeek 的 API 已不再提供 V4-Flash，因此如果要用的正是这个模型，可选的只有您自己的服务器或第三方托管服务。
• 与自购硬件相比。一台 8 卡 B200 或 B300 服务器需要一大笔前期投入，还要另加电力、散热和托管费用。租用则把它变成一笔可以随时停止的月度开支。

租用前的注意事项

• 长上下文和大量用户需要更多显存。我们 20% 的余量适用于中等长度的上下文。相对于其上下文长度，V4 的 KV 缓存很小，但 1M token 的上下文窗口、max 推理强度和大量并行对话叠加起来，仍会占用不少显存：这正是 vLLM 在 8× H200 上把 Pro 的上下文限制在 800,000 个 token 的原因。模型运行起来之后，请留意 KV 缓存的使用率。
• 所有专家都常驻显存。Flash 计算每个 token 只用 13B 参数，但全部 284B 参数都必须加载到 GPU 显存中，Pro 则是全部 1.6T。
• 经过验证的配置各不相同。vLLM 的部署指南目前还没有经过验证的 Flash H100 配置，我们的目录也尚未确认 V4 的 ROCm 支持。请实际测试您计划使用的引擎版本、GPU 和启动参数。
• 提前规划下载。两个检查点分别为 167 GB 和 893 GB。每块 B200 或 B300 配有 3.84 TB 本地 NVMe 存储，8 卡服务器共 30.72 TB。
• 我们不提供基准测试数据。我们不发布任何速度实测结果。请租一台服务器用一个月，用您自己的提示词和并发量实测每秒 token 数。

GPUCenter 适合什么场景

GPUCenter 按月出租独享 GPU 服务器：每台服务器最多 8 块 GPU，提供 SSH root 权限，您的显卡上没有其他租户。在部署页面的“软件”步骤中，我们可以免费为您预装 DeepSeek-V4-Flash 或 DeepSeek-V4-Pro，搭配 vLLM 或 SGLang，并部署在能放下该模型的最便宜服务器上；付款完成链上确认后，服务器会在 10 分钟内上线。您可以用比特币、以太坊、USDT、门罗币或莱特币付款，无需 KYC。

如果您只需要测试几个小时（这时按小时计费的云更便宜），模型需要通过 InfiniBand 连接的多台服务器才能运行（我们不提供），或者您需要的是托管 API，GPUCenter 就不是合适的选择。在我们的目录确认 V4 支持 ROCm 之前，我们不会在 MI355X 上提供它。如果现在就想在这款 GPU 上运行 DeepSeek 模型，我们的目录已确认 DeepSeek-R1-0528 支持 ROCm：FP8 下为 4× MI355X，$5,636/月（MI355X vs B200）。要比较适合推理服务的 GPU，请阅读最适合 LLM 推理的 GPU。

关于 DeepSeek-V4 的常见问题

DeepSeek-V4-Flash 能在单块 GPU 上运行吗？

可以。按我们的选型规则，一块 B300（288 GB）就能运行：Flash 约需 200 GB。单块 B200（180 GB）或 H200（141 GB）都不够大；两块 B200 或两块 H200 都能放下。

DeepSeek-V4-Pro 需要多少显存？

按我们的规则约需 1,072 GB，官方权重为 893 GB；vLLM 的部署指南规定最低 960 GB。算上我们的余量，只有 8× B200 和 8× B300 服务器能放下。

能用 H100 运行 DeepSeek-V4 吗？

按我们的规则，Flash 需要 4× H100，$7,116/月，但 vLLM 的部署指南目前还没有经过验证的 H100 配置。Pro 放不下：八块 H100 的总显存为 640 GB。

DeepSeek-V4 能在 AMD MI355X 上运行吗？

我们的目录尚未确认 DeepSeek-V4 的 ROCm 支持，因此我们只在 NVIDIA 服务器上提供它。DeepSeek-R1-0528 已确认支持 ROCm，运行配置为 4× MI355X，$5,636/月。

DeepSeek-V4 可以商用吗？

代码和权重均采用 MIT 许可证，该许可证授予“不受限制地处置本软件”的权利（许可证），前提是保留其版权声明和许可声明。遵守许可证的责任由您承担。

那么 DeepSeek-V4.1-Flash 呢？

DeepSeek 于 2026年9月10日发布了它：这是一款多模态混合专家模型，共有 552B 参数，输入时激活 8B，输出时激活 16B（DeepSeek）。本文介绍的是 V4-Flash 和 V4-Pro，也就是撰写本文时我们的部署页面可以预装的 V4 模型。vLLM 的部署指南规定 V4.1-Flash 至少需要 614 GB，并要求 vLLM 0.31.0 或更高版本。