先講清楚範圍： 本頁是本地或私有環境 GPU 伺服器的採購檢查清單，用於幫助買家整理條件與風險。它不是公開的 LLM 部署、模型訓練代維或 7×24 託管運維服務，也不是招聘頁。我們不承諾推理效能數字，不列具體 GPU 型號庫存。

先寫工作負載，再選卡

不要先決定卡型號，先把工作負載寫清楚：

  • 用途：單機推理、微調，還是多機訓練；不同用途對頻寬、記憶體與互連的要求差很多。
  • 顯存與批次：模型大小、可接受的批次與延遲目標，決定顯存容量與吞吐需求。
  • 成長空間：短期擴容到幾台、是否預留第二階段的網絡與機櫃容量。

工作負載不明時，先補這些資料；型號與配置可以在邊界清楚後再對。

主機、PCIe／供電接口與記憶體要對的項目

選主機與 GPU 配置時，逐項核對：

  • PCIe 通道與版本：卡數、通道數與 PCIe 版本要匹配，避免插槽跑半速。
  • 供電接口與功耗預算：GPU 供電接口（如高功率 16 pin 一類）與主機電源、冗余餘量要對齊；高功耗卡不能只看插槽支援。
  • 主機記憶體：容量與頻寬要配合模型與資料載入，避免顯存夠但系統記憶體成為瓶頸。
  • 機箱與散熱餘量：機箱空間、風扇配置與出風方向，能否應付多卡長時間負載。
  • 儲存頻寬：本地儲存或後端儲存的讀寫頻寬，是否匹配 checkpoint 與資料載入。

這些是對齊項目，不是效能保證；實際表現取決於工作負載、韌體與散熱環境。

網絡與光模組怎樣接到現有指南

多機部署要回到東西向流量與互連設計，見AI／GPU 高速網絡入門；短距銅纜、AOC 與光模組的選擇見兼容光模組選型指南與兼容光模組採購。單機使用時，對外一般以太即可；一旦加入多機互連，就要另行評估 fabric 與無損調校。

機櫃電力與氣流：要向營運方確認的問題

設備下機房前，先向機房／機櫃營運方確認：

  • 機櫃可用電額度與單路／雙路供電安排；
  • 進風與迴風溫度、冷熱通道佈局與氣流方向；
  • 地板或機架承重，以及多卡主機的安裝空間；
  • 若涉及液冷，是否有對應液體接口與條件（細節見機櫃電力與散熱入門）。

電力與散熱不足，是高密度主機最常見的上線阻礙；這些條件不在設備供應商可以單方面承諾的範圍。

二手或翻新 GPU 主機的額外風險

二手或翻新主機可以考慮，但比一般伺服器多查幾項：

  • 韌體與相容性：GPU、主機板與 PCIe 相關韌體版本是否匹配；
  • 逐卡與逐埠實測：不能只抽測，顯示輸出、算力負載與網絡埠要實際驗過；
  • 授權與支援：部分功能授權或原廠支援可能不可轉移，須核對現行廠商條款；
  • 老化狀態：電源、風扇與散熱部件的使用紀錄；翻新／二手一般保固 3–6 個月，以報價單為準。

FAQ

Q：你們會代為部署與長期託管模型嗎？ A：本頁對應的是設備採購對單與檢查清單，不提供公開的 LLM 部署或 7×24 託管運維服務。

Q：可以保證某張卡的推理速度嗎？ A：不能。推理效能取決於模型、批次、驅動、韌體、散熱與網絡；我們只提供條件對齊與驗貨流程，不保證特定效能數字。

Q：現在有哪些 GPU 現貨？ A：本頁不列庫存與型號清單；需要時把工作負載與數量寄來，按實際可供回覆。

Q：二手 GPU 主機保固多久？ A：翻新／二手一般 3–6 個月，新機按 OEM 原廠保固；具體以報價單及服務條款為準。

下一步

說明：本文為採購檢查清單與風險提示，不構成對任何 GPU 型號、推理效能或可用性的保證。實際表現取決於工作負載、拓撲、韌體、散熱與機房條件；採購條件、保固與責任以報價單及〈服務條款〉為準。