幾十年前，當人工智慧（AI）還未成為大眾熱議的話題時，我參與了一個專案，旨在支援全球最大零售商的核心資料中心。當時該企業的資訊長向我展示了一款全新且走在時代尖端的電腦，它能在不到一秒鐘內完成信用卡交易的批准和處理，這不僅有效防範了詐騙，還大幅提升了顧客的消費體驗。這台電腦以其驚人的速度和效率，成為了改變遊戲規則的關鍵角色，是電腦技術的一大突破。毫無疑問，這個巨大的 IT 裝置已經成為該零售商生態系統中不可或缺的一部分，它需要充足的電力和冷卻系統來維持運作。
時光飛逝，市場環境已經大不相同。當年支撐這台電腦的只是一個簡單的電腦機房空調和電氣室裡的一個不斷電系統（UPS）。如今，AI 人工智慧已成為我們產業的尖端技術，但在幾十年前，這台機器才是技術的前沿。目前，AI 伺服器極高的熱輸出和密集化程度讓電力和冷卻系統面臨巨大挑戰。施耐德電機的能源管理研究中心最近發布了一份新的白皮書，名為《運行 AI 伺服器的最佳資料中心架構》，深入探討了此主題。
隨著技術的發展，到了 1980 年代末，大型零售商中已經從不再使用過去盛行的迷你電腦（Minicomputers）。運算領域邁向採用 Intel x86、IBM PowerPC 或 Sun SPARC 電腦的客戶端-伺服器模型（Client Server Model），這些系統大多為 Windows 或 UNIX 作業系統。迷你電腦產業隨著一系列的收購和破產而逐漸消失。
到了 1990 年代中期，雲端運算開始崛起，以 X86 為基礎的伺服器成為了支撐雲端運算的主力，構成了伺服器農場（Server Farms）的骨幹。自從 Intel 在 1971 年推出首款商業微處理器以來，處理器技術不斷進步。Intel 的共同創辦人戈登·摩爾在 1975 年提出了著名的摩爾定律，該定律認為運算能力大約每兩年翻倍，而更高效、更快速的微晶片成本也在下降。摩爾定律一直延續至近期，直到物理限制開始影響在經濟合理的 CPU 上整合的微型電晶體數量。這些基於 x86 CPU 的傳統伺服器構成了大多數資料中心，這些中心遵循的是所謂的馮·紐曼架構（Von Neumann Architecture）。
然而，這種架構並不適合人工智慧（AI）伺服器及其集群。其主要問題在於 CPU 無法高效地處理大量數據流，並且在這種設置中記憶體的處理能力受到了限制。
人工智慧伺服器需要專門的加速器，例如圖形處理單元（GPUs）或針對特定應用的積體電路（ASICs），比如 Google 的 Tensor 處理單元（TPUs）或華為的 Ascend 910。這些加速器能夠處理人工智慧模型訓練和推理過程中所需的高速數據。這些晶片配備了充足的內置記憶體，以提升處理速度和效率。在伺服器內部，這些加速器由 CPU 控制，並透過高頻寬連接進行數據傳輸。多端口記憶體的設計使得讀寫操作可以同步進行，從而達到更快的速度。
資料處理器（DPU）與 CPU 和 GPU 協同工作，提升運算能力，有效處理日益增長且複雜的現代資料工作量。作為人工智慧伺服器中較新的組件，資料處理器的主要功能是接管 CPU 的一些處理密集型任務，如網絡、存儲和管理等。
最新型的人工智慧伺服器執行兩種主要的工作：訓練和推理。
• 訓練工作 Training Workloads：這類工作用於開發初始模型，並根據新的數據和學習成果來進一步優化這些模型。
• 推理工作 Inference Workloads：是利用在訓練過程中開發的模型導入新數據並進行預測分析。
雖然推理模型可以在功能強大的訓練伺服器上運行，但為了提高速度、減少網絡堵塞和降低延遲，最好將它們部署在靠近使用者和資料輸入點的位置。在大多數情況下，推理伺服器會運行一個簡化版的訓練模型。在大多數情況下，加速器 GPU 在達成商業服務水平協議（SLA）和滿足推理工作的要求方面仍然非常關鍵。
為了支援各種人工智慧技術（如機器學習 (Machine Learning, ML)、生成式人工智慧 (Generative AI, GAI)、大型語言模型 (Large Language Models, LLM) 等），所需的硬體技術實際上構成了一個包含強大終端設備的生態系統。智慧型手機透過其強勁而高容量的網絡連接，能夠將文字、圖像乃至影音等豐富多元的資料，傳輸至推理伺服器。這些伺服器上運行著精簡版的訓練模型，不僅能夠順暢地處理這些輸入資料，還能夠根據這些資料產生多樣化的輸出，包括決策指引、文字描述、圖像展現，甚至是悅耳的音樂。
如欲深入瞭解支援這種新一代人工智慧伺服器所需的實體基礎設施，以及部署的最佳做法，請參閱我們的第110號白皮書：《運行 AI 伺服器的最佳資料中心架構》。
作者：Steven Carlini | Sep 14, 2023 | 原文連結
