AI/GPU 伺服器、高速網絡 RoCE InfiniBand 與叢集基建
流量不只來自硬體型號，也來自模型名。Llama、Qwen、DeepSeek 等開源模型常被用來反推需要多少 VRAM／統一記憶體。 粗估思路 權重精度（FP16／FP8／INT4／FP4）決定顯存下限 上下文長度會吃 KV cache 多卡需要高速互連，否則擴不到線性加速 桌上大統一記憶體可看 DGX Spark；機架方案看 H100/H200/B200。需要網絡與伺服器配套請聯絡我們。 下一步 / Next：報價、二手設備或機房配套，請聯絡 Infraplushk · AI/GPU 指南 · 二手網絡採購 · Shop
熱門 LLM（Llama / Qwen / DeepSeek）與 GPU 記憶體怎麼估 Read More »
搜尋「GPU server」時，企業常落到 Dell PowerEdge（如高密度 GPU 機型）與 Supermicro GPU／HGX 平台。重點往往不是型號字母，而是功耗、風向、PCIe／SXM 形態與 ToR 上行。 挑選順序 GPU 形態：PCIe vs SXM／HGX 單節點卡數與 NVLink 需求 PDU、UPS、精密空調是否撐得住（見 機架 checklist） 記憶體是否 ECC、容量是否夠跑目標模型（ECC 指南） 汰換下來的網絡與伺服器可走 機房回收。 下一步 / Next：報價、二手設備或機房配套，請聯絡 Infraplushk · AI/GPU 指南 · 二手網絡採購 · Shop
熱門 GPU 伺服器平台：Dell PowerEdge 與 Supermicro GPU 機型怎麼挑 Read More »
即使 H100/H200/B200 佔盡頭條，A100 在二級市場與既有叢集擴容仍常被搜尋。 仍合理的場景 軟體棧已針對 A100 驗證 預算優先、推理／中型訓練 與現有 DGX／HGX A100 節點混布（需確認 NVLink 世代） 較應升級的場景 新模型需要更大 HBM 或 Blackwell 特性 電力／機櫃已準備好上 H200/B200 相關：H100 vs H200 vs B200 · 二手 GPU checklist。 下一步 / Next：報價、二手設備或機房配套，請聯絡 Infraplushk · AI/GPU 指南 · 二手網絡採購 · Shop
NVIDIA A100 二手市場還值得買嗎？2026 年定位說明 Read More »
DGX Spark 等新一代 AI 裝置強調 ConnectX-7 等級高速網絡。資料中心則常見 100/200/400G RoCE 路徑。 為何重要 GPU 再快，若 NIC／交換／光模組跟不上，訓練與多機推理照樣排隊。這與「最貴的閒置是等網絡的 GPU」同一邏輯。 實務檢查 主機是否有對應 PCIe 槽位與散熱 交換器是否支援對應速率與 PFC/ECN（RoCE） 光模組／DAC／AOC 距離與編碼（見 光模組採購坑） 總覽：數據中心系統指南 · AI/GPU 網絡入門。 下一步 / Next：報價、二手設備或機房配套，請聯絡 Infraplushk · AI/GPU 指南 · 二手網絡採購 · Shop
NVIDIA ConnectX-7 與 200Gb/s：AI 工作站到機架的網絡升級 Read More »
GeForce RTX 5090（約 32GB GDDR7）把消費級本機推理推到新水位，搜尋熱度高；但與 H100/H200 的 HBM 與多卡互連仍是不同產品線。 5090 較適合 單機／小團隊本機推理、原型、輕量微調 對 TCO 敏感、沒有機房電力配額 仍應考慮資料中心 GPU 的情況 多卡訓練、長上下文、嚴格 SLA 需要 NVLink 網狀互連與企業支援鏈 若你卡在「本機夠不夠」與「上機架」，可一併評估 DGX Spark 這類統一記憶體桌上方案，或直接 聯絡我們 討論網絡與伺服器配套。 下一步 / Next：報價、二手設備或機房配套，請聯絡 Infraplushk · AI/GPU 指南 · 二手網絡採購 · Shop
RTX 5090 跑本機 LLM vs 資料中心 H100/H200：什麼時候夠用 Read More »
資料中心 GPU 搜尋量最高的幾款仍是 NVIDIA H100、H200 與新世代 B200（Blackwell）。 型號 架構 常見定位 H100 Hopper 訓練／推理主力，二級市場最熱 H200 Hopper + 更大 HBM 長上下文、更大模型友好 B200 Blackwell 新世代訓練／推理密度與精度路徑 選型口訣 現有軟體／雲端映像是否已驗證該代 GPU？ 機架電力、散熱、NVLink／NVSwitch 拓樸能否跟上？ 網絡會否變成瓶頸（見 等網絡的 GPU）？ 二手／翻新注意事項：H100/H200/L40S checklist。機架檢核：Supermicro/Dell checklist。 下一步 / Next：報價、二手設備或機房配套，請聯絡 Infraplushk · AI/GPU 指南 · 二手網絡採購 · Shop
H100 vs H200 vs B200（Blackwell）：企業 AI 伺服器怎麼選 Read More »
搜尋「NVIDIA Spark」時，多數人指的是 NVIDIA DGX Spark（以及同晶片線的 RTX Spark）：桌上型個人 AI 工作站，不是資料中心機架裡的 H100。 核心規格（公開資料摘要） 晶片：GB10 Grace Blackwell Superchip（CPU + GPU 緊密耦合） CPU：約 20 核 Arm（Grace 系列核心） GPU：Blackwell，公開規格約 6,144 CUDA cores 統一記憶體：128GB LPDDR5X 等級，CPU/GPU 共享（NVLink-C2C） AI 算力：官方宣傳可達約 1 petaflop（視精度／工作負載） 網絡：含高速乙太網／ConnectX-7 等進階連線選項（依機種） 適合誰 開發者／研究室要在桌上跑數十億至約 200B 參數級模型（雙機可更高） 想避開完整機架功耗，但仍要統一大記憶體的本機推理／微調 和 H100 / B200 機架的差異 Spark 是個人／桌上形態；H100、H200、B200 是資料中心訓練／大規模推理。港企 Lab 若已有 spine-leaf 與 100G+，機架
NVIDIA DGX Spark / RTX Spark 是什麼？GB10 Grace Blackwell 個人 AI 超算入門 Read More »
選機架前先算瓦數 8 卡 H100 等級節點加上交換與儲存，單櫃輕易超過傳統企業機櫃設計值。先確認樓宇電力、UPS 與精密空調，再談伺服器型號。 Checklist 每節點與整櫃峰值功耗、進線容量。 PDU 相數、插座類型、A/B 路冗餘。 前後風向、冷熱通道、機櫃深度。 ToR 交換上行是否支持 100G/400G。 重量與地板承重。 需要機房清場或汰換設備回收：ITAD 指南。
Supermicro / Dell GPU 機架選型 Checklist（功耗、PDU、散熱） Read More »
從企業數據中心到 AI 叢集 Cisco 與 NVIDIA 等推廣的 AI fabric / HyperFabric 方向，核心是簡化 GPU 叢集的網絡佈建。港企即使規模較小，仍可用 Nexus 葉脊思維規劃 Lab：固定超額認購、統一路由與可觀測性。 對香港 Lab 的務實建議 先釐清是訓練、推理還是認證實驗場，避免過度採購。 二手 Nexus 可作成本可控的葉節點，但需驗證授權與光口模組。 參考 二手 Cisco 與 採購指南。
Cisco Nexus 與 AI Fabric 概念：對港企 Lab 的意義 Read More »
問題本質 在大型 AI 叢集裡，「網絡就是電腦」。葉脊之間只要出現擁塞或丟包，GPU 就會空轉等待梯度同步——單位時間成本往往高於交換器本身。 實務重點 Spine-leaf 無阻塞設計與足夠上行超額認購比。 RoCEv2 需要 PFC / ECN；InfiniBand 有獨立擁塞控制路徑。 監控：端口錯誤、pause frames、ECN marked、collective 延遲。 延伸閱讀：AI/GPU 網絡入門｜光模組與機房系統。
最貴的閒置資產：等網絡的 GPU｜Spine-Leaf、擁塞與 RDMA Read More »
