當記憶體堆疊達到極限：「光學互連」如何打破 GPU–HBM 封裝成新寵兒？

人工智慧運算需求爆炸性成長，AI 晶片架構正出現瓶頸。隨著高頻寬記憶體（HBM）垂直堆疊逼近物理極限，半導體產業正將目光投向一個顛覆性的解決方案：以光訊號取代電訊號，讓 GPU 與 HBM「分開封裝但保持高速傳輸」，重塑 AI 晶片的封裝結構。

（打破週期性迷思！一公式拆解 HBM 需求結構：記憶體為何只會繼續上漲？）

什麼是「記憶體牆」？HBM 垂直堆疊的擴充死路

在當今的 AI 運算環境中，GPU 的運算效能每一代都大幅躍進，但記憶體的存取與傳輸速度卻始終跟不上，兩者之間的落差形成效能瓶頸，也就是所謂的「記憶體牆（Memory Wall）」。

HBM 的出現，以其寬闊的資料通道暫時緩解了這個問題。然而隨著 AI 模型規模持續擴張，不難看出 HBM 的頻寬與傳輸速度仍不足以應付運算需求的爆炸性成長，記憶體牆的問題始終未被解決。

為了在有限空間內提升記憶體容量…