流量不只來自硬體型號,也來自模型名。Llama、Qwen、DeepSeek 等開源模型常被用來反推需要多少 VRAM/統一記憶體。
粗估思路
- 權重精度(FP16/FP8/INT4/FP4)決定顯存下限
- 上下文長度會吃 KV cache
- 多卡需要高速互連,否則擴不到線性加速
桌上大統一記憶體可看 DGX Spark;機架方案看 H100/H200/B200。需要網絡與伺服器配套請聯絡我們。
下一步 / Next:報價、二手設備或機房配套,請聯絡 Infraplushk · AI/GPU 指南 · 二手網絡採購 · Shop
