Marvell發布新一代AI內存基礎設施方案組合提升Token效率

數據基礎設施半導體巨頭Marvell Technology宣布推出面向AI基礎設施的新一代內存解決方案組合，覆蓋服務器級AI存儲、機架級CXL內存擴展與池化，以及多機櫃光互聯共享內存，旨在解決Agentic AI推理過程中日益增長的內存容量和帶寬瓶頸。 Marvell表示，隨著AI模型規模擴大、上下文窗口延長以及KV Cache需求增長，傳統計算與內存緊耦合架構正限制AI推理效率。通過內存解耦（memory disaggregation），可以讓內存資源更加獨立於計算資源擴展，提高GPU利用率並降低數據移動延遲。