更多

    NVIDIA GTC 2022 發表 H100 挑戰最快 AI 超級電腦

    Eric Chong
    Eric Chong
    商業・科技・創業・編輯

    收購 Arm 計畫告吹的 NVIDIA ,發表新一代數據中心的 GPU H100 ,採用 Hopper 架構。基於 H100 Hopper 的新版本 DGX H100 ,可建成 DGX POD 、 DGX SuperPOD ,以至最終建起超級電腦 NVIDIA Eos 。據 NVIDIA 創辦人兼行政總裁黃仁勳稱,預期 NVIDIA Eos 會是全球最快 AI 超級電腦,快過日本的富岳

    今年的 NIVIDA GTC 大會繼續在網上播片,不過主題演講不再用黃仁勳的廚房做背景,改到加州 Santa Clara 總部,從外圍「飛進」內部,深入數據中心。

    現時數據中心廣泛採用的 GPU A100 ,在 GTC 2020 發表。而新一代的 H100 採用全新 Hopper 架構設計。 H100 為台積電的 4 納米製程,具備 800 億個電晶體,記憶體頻寬 3TB/s ,用上 PCI-e 5.0 和 HBM3 。與 A100 比較的運算效能, FP16 、 FP32 和 FP64 均快 3 倍, 8 位浮點數運算則快上 6 倍,有 4PFLOPS​​ 。

    黃仁勳又稱, H100 新設 Transformer 引擎,加速訓練 Transformer 模型。 H100 又支援機密運算,在公共雲上建立由硬件保護的可靠運算環境。

    由 H100 作基礎,擴展出不同運算級別的 DGX 產品。其中由 8 個 H100 GPU 組成的 DGX H100,效能可達 32PFLOPS ,以及擁有 24TB/s 的記憶體頻寬和 640GB 的 HBM3 高頻寬記憶體。​​

    DGX POD 則用 NVLink 交換器連接 32 部 DGX ,合共有 256 顆 H100 GPU ,運算效能達 1EFLOPS 。

    黃仁勳進一步公布計畫,用 18 部 DGX POD 建立超級電腦 NVIDIA Eos ,內有 4,608 個 H100 GPU , AI 運算效能 18.4EFLOPS ,較現時世界第一的超級電腦富岳快 4 倍。而傳統科學數據運算亦有 275PFLOPS 。

    在去年的 GTC 公布開發 Arm 處理器 Grace ,黃仁勳公布更多細節。預計首款 Grace CPU 晶片將如期在明年付運。 Grace 處理器借用美國女程式員先驅 Grace Hopper 命名。 Grace CPU 與 Hopper 架構整合,成為 Grace Hopper 超級晶片,通過 NVLink C2C 連接,傳送速度 900Gb/s ,數據直接從 CPU 遷移入 GPU 處理。他又發表雙 Grace Hopper 超級晶片,內建 144 個核心,支援 LPDDR5X ECC 記憶體,頻寬 1TB/s 。

    您會感興趣的內容

    相關文章