「記憶體牆（Memory Wall）」被視為AI半導體重要瓶頸之一，市場傳出新解方，亦即將GPU與HBM從以往緊密貼合的封裝方式中「拆開」，改為分離式封裝架構，並以光學（optical）互連取代傳統電性連接。
韓國媒體《zdnet》報導，業界認為，過去將HBM緊貼GPU旁配置的方式，未來可能改為拉開一定距離，再以光訊號連結，以突破現有封裝限制，進一步提升HBM配置數量。
報導引述韓國大型記憶體製造商研究人員表示：「目前在HBM頻寬與容量擴展上遇到困難，因此正與客戶討論透過光連結技術，突破GPU的shoreline（邊界長度）限制，以提升HBM搭載數量。」所謂shoreline指的是晶片邊緣可用來配置HBM的周長限制。
在AI運算架構中，記憶體傳輸速度已成為主要效能瓶頸。雖然GPU計算能力持續快速提升，但記憶體的頻寬成長跟不上，形成所謂的「Memory Wall（記憶體牆）」問題。HBM雖然大幅提升資料傳輸能力，但在AI計算需求快速增加的情況下，仍逐漸不敷使用。
過去業界主要透過增加HBM的垂直堆疊層數來提升容量，但當堆疊進一步提高到16層以上時，不僅製程難度大幅增加，也開始受到高度與設計規格限制，接近物理上的極限。
當垂直擴充受限後，產業轉向思考水平擴展的可能性。但在現行2.5D封裝架構下，HBM必須圍繞GPU排列，而GPU周邊可用空間有限，使得可放置的HBM數量仍受到明顯限制，擴充空間同樣受阻。
因此，業界開始出現新的架構構想，也就是將GPU與HBM分離封裝，透過光互連（optical interconnect）進行高速資料傳輸。這種方式改變傳統「必須極度靠近以降低延遲」的封裝設計思維，改以光訊號取代電訊號，在拉開距離的同時維持高速傳輸速度。
報導提到，若將HBM從GPU附近稍微移開，便可突破shoreline限制，使HBM能在更大的空間中重新配置。如此一來，在不過度依賴堆疊層數的情況下，HBM容量有機會大幅提升，整體AI加速器的記憶體頻寬與容量也可能同步成長。
目前產業界也正針對HBM在GPU基板上的配置方式提出多種架構設計。包括擴大GPU周邊空間、將HBM隔離並配置於GPU基板下方，或在電路板中央獨立規劃HBM區域等不同方案。
記憶體產業人士指出：「目前仍處於開放式討論階段，尚未形成正式roadmap，但作為下一代AI加速器的前期研究，正與合作夥伴進行技術討論。」
封裝測試（OSAT）業界也高度關注此趨勢。一位業內人士表示，光學互連是明確方向，關鍵只在於時間點。未來可能會先從機櫃對機櫃、伺服器對伺服器之間導入光互連，再逐步延伸到板級甚至晶片間應用。
他認為，光通訊技術發展快速，進入晶片內部互連的時間點，可能比預期更快實現。
從技術角度來看，GPU與HBM之間的光學互連，其原理與資料中心中伺服器間的光通訊技術相似，但挑戰在於必須將原本用於大型設備間的光電轉換技術，縮小並整合到單一基板甚至晶片層級，因此技術門檻極高。
韓國CPO元件開發業者也指出，隨著HBM堆疊高度逼近極限，產業開始思考將其水平展開以最大化配置密度。但在有限封裝空間內實現時，需要將光學元件進一步微縮並提升整合密度，使整體技術難度更高。
