GPU 对比 · Blackwell vs Ada Lovelace
NVIDIA RTX 5090 vs L40S。
Blackwell GeForce 显卡对阵 Ada 数据中心 GPU。L40S 拥有 48 GB 带 ECC 的 GDDR6 显存,密集 FP8 吞吐量约为 1.75 倍,服务器最多 8 块 GPU。RTX 5090 为 32 GB GDDR7,显存带宽约为两倍(1.79 对比 0.86 TB/s),带 FP4 Tensor Core,每块 GPU 每月 $329 对比 $789。
- 32 vs 48 GB显存
- 1.79 vs 0.86 TB/s显存带宽
- $329 vs $789每块 GPU 每月
RTX 5090 vs L40S:该租哪一款。
适合 RTX 5090 的场景
- 您的模型能放进单卡 32 GB:按我们的选型规则,FP8 下最多约 24B 参数,4-bit 下约 45B。
- 您的工作负载受显存带宽而非 Tensor 吞吐量限制,例如在能放进显存的模型上为单个用户生成 token。
- 您想要更低的每 GB 显存价格:每月 $10.28 对比 $16.44。
适合 L40S 的场景
- 您的模型每块 GPU 需要超过 32 GB:按我们的选型规则,48 GB 可容纳 FP8 下约 36B 参数,或 4-bit 下约 67B。
- 您需要 ECC 显存或 8 卡服务器:GeForce 服务器最多 4 块显卡。
- 您需要大规模 FP8 推理服务:密集 FP8 Tensor 吞吐量 733 TFLOPS,RTX 5090 为 419 TFLOPS。
RTX 5090 vs L40S:规格并列对比。
数据均引自 NVIDIA 公布的官方规格(按单 GPU 计),张量数据均为密集峰值吞吐量。
| 每块 GPU | NVIDIA RTX 5090 | NVIDIA L40S | L40S / RTX 5090 |
|---|---|---|---|
| 架构 | Blackwell | Ada Lovelace | — |
| 外形规格 | PCIe Gen5 显卡 | 双槽 PCIe 卡,被动散热 | — |
| 显存 | 32 GB GDDR7,512 位 | 48 GB 带 ECC 的 GDDR6 | 1.5× |
| 显存带宽 | 1,792 GB/s | 864 GB/s | 0.48× |
| GPU 间互联 | 无(PCIe Gen5) | 无(PCIe Gen4 x16) | — |
| FP4 张量吞吐量(密集) | 1.7 PFLOPS | 不支持 | — |
| FP8 张量吞吐量(密集) | 419 TFLOPS | 733 TFLOPS | 1.75× |
| FP16 / BF16 张量吞吐量(密集) | 209.5 TFLOPS | 362 TFLOPS | 1.73× |
| FP64 | — | — | — |
| 最大功耗 | 575 W | 350 W | — |
| 每台服务器的 GPU 数量 | 1, 2, 4 | 1, 2, 4, 8 | — |
| 每块 GPU 配套资源 | 16 vCPU · 64 GB RAM · 1 TB | 12 vCPU · 96 GB RAM · 1 TB | — |
来源: NVIDIA GeForce RTX 5090 · RTX Blackwell 白皮书 · NVIDIA L40S. 完整规格表: RTX 5090 · L40S
RTX 5090 vs L40S:租用价格。
在 GPUCenter,RTX 5090 每块 GPU 的月租价格为 $329,L40S 为 $789,均比公开按需价格的市场中位价低 30%,支持加密货币支付,无需 KYC。按小时价格为月租价格除以 730 小时所得。
| GPUCenter | NVIDIA RTX 5090 | NVIDIA L40S | L40S / RTX 5090 |
|---|---|---|---|
| 每块 GPU 月租价格 | $329 | $789 | 2.4× |
| 等效每 GPU 小时价格 | $0.45 | $1.08 | — |
| 每 GB 显存月租价格 | $10.28 | $16.44 | 1.6× |
| 每 PFLOPS 密集 FP8 月租价格 | $785 | $1,076 | 1.37× |
| 最大服务器 | 4× · $1,316/月 | 8× · $6,312/月 | — |
| 市场中位价(每块 GPU) | $481 | $1,139 | — |
| 低于中位价 | −32% | −31% | — |
无论服务器规模大小,每块 GPU 价格相同,不按小时计费。 我们如何比较价格 · 配置 RTX 5090 服务器 · 配置 L40S 服务器
各款 GPU 能装下哪些模型。
按精度列出可容纳各模型的最小服务器规格;经验法则已为 KV 缓存预留余量,按 GPU 显存的 92% 可用计算。
| 模型 (总参数量) | RTX 5090 · FP8 | L40S · FP8 | RTX 5090 · 4 位 | L40S · 4 位 |
|---|---|---|---|---|
| Qwen3.5-9B | 1× | 1× | 1× | 1× |
| Gemma 4 31B | 2× | 1× | 1× | 1× |
| Llama 3.3 70B | 4× | 2× | 2× | 2× |
| gpt-oss-120b | — | 4× | 4× | 2× |
| DeepSeek-V4-Flash | — | 8× | — | 8× |
| Qwen3.5-397B-A17B | — | — | — | 8× |
| DeepSeek-R1 (671B) | — | — | — | — |
| Kimi K2.6 (1T) | — | — | — | — |
FP8 ≈ 1.2 字节/参数,4-bit ≈ 0.65 字节/参数。— 表示超出该 GPU 最大服务器规格。为其他模型选型 · LLM 需要多少显存?
RTX 5090 vs L40S 常见问题。
详细了解各款 GPU:NVIDIA RTX 5090 · NVIDIA L40S。
RTX 5090 比 L40S 更快吗?
取决于瓶颈在哪里。RTX 5090 的显存带宽约为两倍,而对于能放进显存的模型,带宽决定了生成 token 的速度。L40S 的密集 FP8 Tensor 吞吐量约为 1.75 倍,显存多 16 GB。我们不发布跑分数据。
为什么 L40S 比 RTX 5090 贵?
它是数据中心显卡:48 GB 带 ECC 的显存,采用适合高密度服务器的被动散热,服务器最多 8 块 GPU。我们对两者的定价都比各自的市场中位价低 30%。
哪一款能装下 32B 模型?
4-bit 量化下(约 21 GB),两者单卡都可以。FP8 下(约 38 GB),一块 L40S 即可;RTX 5090 则需要两块。
其他 GPU 对比。
- Blackwell vs Hopper RTX 5090 vs H100 32 vs 80 GB · 1.8 TB/s vs 3.35 TB/s $329 vs $1,779/月 · 每块 GPU
- Blackwell vs Ada Lovelace RTX 5090 vs RTX 4090 32 vs 24 GB · 1.8 TB/s vs 1 TB/s $329 vs $269/月 · 每块 GPU
- Blackwell vs Blackwell RTX PRO 6000 vs RTX 5090 96 vs 32 GB · 1.6 TB/s vs 1.8 TB/s $959 vs $329/月 · 每块 GPU
租用 RTX 5090 或 L40S。
独享服务器可配置 1 至 8 块 GPU,统一月付价格,支持加密货币支付;10 分钟内上线,无需 KYC。
