Google Cloud 正式推出第七代 TPU Ironwood AI 運算效能 4 倍升

Author:

Published:

- 廣告 -

Google Cloud 終於正式推出 TPUv7 Ironwood。這晶片較前一代提升 4 倍效能,定位 Google Cloud 平台的 AI 推理 (Inference)TPU,用於高效能、低時延的 AI 服務,尤其是運行大型語言模型(LLM)的強勁需求。

Ironwood 定位 Google Cloud 平台的 AI 推理 (Inference)TPU,用於高效能、低時延的 AI 服務。
Ironwood 定位 Google Cloud 平台的 AI 推理 (Inference)TPU,用於高效能、低時延的 AI 服務。

早在今年的 Google Cloud Next 2025 大會已經發表 Ironwood TPU。根據 Google Cloud 公布的硬件設計特點:

  • Ironwood TPU 可在單一叢集連接最多 9,216 個晶片。
  • 晶片之間互連,傳輸速度 9.6Tbps。
  • 系統可共享 1.77PB 高頻寬記憶體(HBM)。
  • 系統採用光學電路切換(OCS)技術,能動態調整網絡路由,可避開中斷,保障服務持續可用。
  • 宣稱平台上目前效能與能源效益表現較為突出的客製化晶片之一。
Ironwood 超級節點的一部分,在單一叢集內直接連接 9,216 個 Ironwood TPU。
Ironwood 超級節點的一部分,在單一叢集內直接連接 9,216 個 Ironwood TPU。

Ironwood TPU 憑大容量記憶體、高速互連網絡,用於 AI 推理和推動 LLM 服務,如管理 LLM、專家混合模型(MoE)等複雜模型,提供大量運算資源,尤其處理深度思考的工作負載。

- 廣告 -

Ironwood TPU 亦配備加強的 SparseCore,用以支援對超大規模嵌入處理,有助提升在大型推薦系統和金融分析中常見的複雜排序工作。

三粒 Ironwood TPU 連接至液冷系統。
三粒 Ironwood TPU 連接至液冷系統。

Google Cloud 同時發佈 N4A 執行個體預覽版,採用自訂 Axion 的 Arm 晶片。宣稱為 Google 最具成本效益的 N 系列執行個體,較 x86 虛擬機器高 2 倍成本效益比,亦高 80% 效能耗能比。而上月正式可用的 C4A 執行個體,快將推出實體主機(bare metal)預覽,為 Google Cloud 平台首個 Arm 架構該類運算服務。

- 廣告 -
Eric Chong
Eric Chong
商業・科技・創業・編輯
- 廣告 -

Related Articles

- 廣告 -

Recent Articles

- 廣告 -

最新影片

- 廣告 -