新品 NVIDIA B300 · 288 GB HBM3e 服务器 — 起价 $4,019/月 每块 GPU

查看 B300

GPU 对比 · Blackwell vs Ada Lovelace

NVIDIA RTX 5090 vs L40S。

Blackwell GeForce 显卡对阵 Ada 数据中心 GPU。L40S 拥有 48 GB 带 ECC 的 GDDR6 显存,密集 FP8 吞吐量约为 1.75 倍,服务器最多 8 块 GPU。RTX 5090 为 32 GB GDDR7,显存带宽约为两倍(1.79 对比 0.86 TB/s),带 FP4 Tensor Core,每块 GPU 每月 $329 对比 $789。

  • 32 vs 48 GB显存
  • 1.79 vs 0.86 TB/s显存带宽
  • $329 vs $789每块 GPU 每月

RTX 5090 vs L40S:该租哪一款。

适合 RTX 5090 的场景

  • 您的模型能放进单卡 32 GB:按我们的选型规则,FP8 下最多约 24B 参数,4-bit 下约 45B。
  • 您的工作负载受显存带宽而非 Tensor 吞吐量限制,例如在能放进显存的模型上为单个用户生成 token。
  • 您想要更低的每 GB 显存价格:每月 $10.28 对比 $16.44。

NVIDIA RTX 5090 服务器起价 $329/月

适合 L40S 的场景

  • 您的模型每块 GPU 需要超过 32 GB:按我们的选型规则,48 GB 可容纳 FP8 下约 36B 参数,或 4-bit 下约 67B。
  • 您需要 ECC 显存或 8 卡服务器:GeForce 服务器最多 4 块显卡。
  • 您需要大规模 FP8 推理服务:密集 FP8 Tensor 吞吐量 733 TFLOPS,RTX 5090 为 419 TFLOPS。

NVIDIA L40S 服务器起价 $789/月

RTX 5090 vs L40S:规格并列对比。

数据均引自 NVIDIA 公布的官方规格(按单 GPU 计),张量数据均为密集峰值吞吐量。

RTX 5090 vs L40S 规格参数
每块 GPUNVIDIA RTX 5090NVIDIA L40SL40S / RTX 5090
架构BlackwellAda Lovelace—
外形规格PCIe Gen5 显卡双槽 PCIe 卡,被动散热—
显存32 GB GDDR7,512 位48 GB 带 ECC 的 GDDR61.5×
显存带宽1,792 GB/s864 GB/s0.48×
GPU 间互联无(PCIe Gen5)无(PCIe Gen4 x16)—
FP4 张量吞吐量(密集)1.7 PFLOPS不支持—
FP8 张量吞吐量(密集)419 TFLOPS733 TFLOPS1.75×
FP16 / BF16 张量吞吐量(密集)209.5 TFLOPS362 TFLOPS1.73×
FP64———
最大功耗575 W350 W—
每台服务器的 GPU 数量1, 2, 41, 2, 4, 8—
每块 GPU 配套资源16 vCPU · 64 GB RAM · 1 TB12 vCPU · 96 GB RAM · 1 TB—

来源: NVIDIA GeForce RTX 5090 · RTX Blackwell 白皮书 · NVIDIA L40S. 完整规格表: RTX 5090 · L40S

RTX 5090 vs L40S:租用价格。

在 GPUCenter,RTX 5090 每块 GPU 的月租价格为 $329,L40S 为 $789,均比公开按需价格的市场中位价低 30%,支持加密货币支付,无需 KYC。按小时价格为月租价格除以 730 小时所得。

RTX 5090 vs L40S 租用价格
GPUCenterNVIDIA RTX 5090NVIDIA L40SL40S / RTX 5090
每块 GPU 月租价格$329$7892.4×
等效每 GPU 小时价格$0.45$1.08—
每 GB 显存月租价格$10.28$16.441.6×
每 PFLOPS 密集 FP8 月租价格$785$1,0761.37×
最大服务器4× · $1,316/月8× · $6,312/月—
市场中位价(每块 GPU)$481$1,139—
低于中位价−32%−31%—

无论服务器规模大小,每块 GPU 价格相同,不按小时计费。 我们如何比较价格 · 配置 RTX 5090 服务器 · 配置 L40S 服务器

各款 GPU 能装下哪些模型。

按精度列出可容纳各模型的最小服务器规格;经验法则已为 KV 缓存预留余量,按 GPU 显存的 92% 可用计算。

RTX 5090 vs L40S 上各模型所需的 GPU 数量
模型 (总参数量)RTX 5090 · FP8L40S · FP8RTX 5090 · 4 位L40S · 4 位
Qwen3.5-9B 1× 1× 1× 1×
Gemma 4 31B 2× 1× 1× 1×
Llama 3.3 70B 4× 2× 2× 2×
gpt-oss-120b — 4× 4× 2×
DeepSeek-V4-Flash — 8× — 8×
Qwen3.5-397B-A17B — — — 8×
DeepSeek-R1 (671B) — — — —
Kimi K2.6 (1T) — — — —

FP8 ≈ 1.2 字节/参数,4-bit ≈ 0.65 字节/参数。— 表示超出该 GPU 最大服务器规格。为其他模型选型 · LLM 需要多少显存?

RTX 5090 vs L40S 常见问题。

详细了解各款 GPU:NVIDIA RTX 5090 · NVIDIA L40S。

RTX 5090 比 L40S 更快吗?

取决于瓶颈在哪里。RTX 5090 的显存带宽约为两倍,而对于能放进显存的模型,带宽决定了生成 token 的速度。L40S 的密集 FP8 Tensor 吞吐量约为 1.75 倍,显存多 16 GB。我们不发布跑分数据。

为什么 L40S 比 RTX 5090 贵?

它是数据中心显卡:48 GB 带 ECC 的显存,采用适合高密度服务器的被动散热,服务器最多 8 块 GPU。我们对两者的定价都比各自的市场中位价低 30%。

哪一款能装下 32B 模型?

4-bit 量化下(约 21 GB),两者单卡都可以。FP8 下(约 38 GB),一块 L40S 即可;RTX 5090 则需要两块。

租用 RTX 5090 或 L40S。

独享服务器可配置 1 至 8 块 GPU,统一月付价格,支持加密货币支付;10 分钟内上线,无需 KYC。

客户中心

登录 GPUCenter

您的订单、账单和服务器,一站式管理。

还没有 GPUCenter 账户?

账户是在结账时创建的:先选择您的服务器和软件,然后在首次下单的账户步骤中创建账户。

部署服务器