先讲清楚范围： 本页是本地或私有环境 GPU 服务器的采购检查清单，用于帮助买家整理条件与风险。它不是公开的 LLM 部署、模型训练代维或 7×24 托管运维服务，也不是招聘页。我们不承诺推理效能数字，不列具体 GPU 型号库存。

先写工作负载，再选卡

不要先决定卡型号，先把工作负载写清楚：

  • 用途：单机推理、微调，还是多机训练；不同用途对带宽、内存与互连的要求差很多。
  • 显存与批次：模型大小、可接受的批次与延迟目标，决定显存容量与吞吐需求。
  • 成长空间：短期扩容到几台、是否预留第二阶段的网络与机柜容量。

工作负载不明时，先补这些资料；型号与配置可以在边界清楚后再对。

主机、PCIe／供电接口与内存要对的项目

选主机与 GPU 配置时，逐项核对：

  • PCIe 通道与版本：卡数、通道数与 PCIe 版本要匹配，避免插槽跑半速。
  • 供电接口与功耗预算：GPU 供电接口（如高功率 16 pin 一类）与主机电源、冗余余量要对齐；高功耗卡不能只看插槽支持。
  • 主机内存：容量与带宽要配合模型与资料载入，避免显存够但系统内存成为瓶颈。
  • 机箱与散热余量：机箱空间、风扇配置与出风方向，能否应付多卡长时间负载。
  • 存储带宽：本地存储或后端存储的读写带宽，是否匹配 checkpoint 与资料载入。

这些是对齐项目，不是效能保证；实际表现取决于工作负载、固件与散热环境。

网络与光模块怎样接到现有指南

多机部署要回到东西向流量与互连设计，见AI／GPU 高速网络入门；短距铜缆、AOC 与光模块的选择见兼容光模块选型指南与兼容光模块采购。单机使用时，对外一般以太网即可；一旦加入多机互连，就要另行评估 fabric 与无损调校。

机柜电力与气流：要向运营方确认的问题

设备下机房前，先向机房／机柜运营方确认：

  • 机柜可用电额度与单路／双路供电安排；
  • 进风与回风温度、冷热通道布局与气流方向；
  • 地板或机架承重，以及多卡主机的安装空间；
  • 若涉及液冷，是否有对应液体接口与条件（细节见机柜电力与散热入门）。

电力与散热不足，是高密度主机最常见的上线阻碍；这些条件不在设备供应商可以单方面承诺的范围。

二手或翻新 GPU 主机的额外风险

二手或翻新主机可以考虑，但比一般服务器多查几项：

  • 固件与兼容性：GPU、主板与 PCIe 相关固件版本是否匹配；
  • 逐卡与逐埠实测：不能只抽测，显示输出、算力负载与网络埠要实际验过；
  • 授权与支持：部分功能授权或原厂支持可能不可转移，须核对现行厂商条款；
  • 老化状态：电源、风扇与散热部件的使用记录；翻新／二手一般质保 3–6 个月，以报价单为准。

FAQ

Q：你们会代为部署与长期托管模型吗？ A：本页对应的是设备采购对单与检查清单，不提供公开的 LLM 部署或 7×24 托管运维服务。

Q：可以保证某张卡的推理速度吗？ A：不能。推理效能取决于模型、批次、驱动、固件、散热与网络；我们只提供条件对齐与验货流程，不保证特定效能数字。

Q：现在有哪些 GPU 现货？ A：本页不列库存与型号清单；需要时把工作负载与数量寄来，按实际可供回复。

Q：二手 GPU 主机质保多久？ A：翻新／二手一般 3–6 个月，新机按 OEM 原厂质保；具体以报价单及服务条款为准。

下一步

说明：本文为采购检查清单与风险提示，不构成对任何 GPU 型号、推理效能或可用性的保证。实际表现取决于工作负载、拓扑、固件、散热与机房条件；采购条件、质保与责任以报价单及服务条款为准。