NVIDIA'nın satın aldığı Groq, yeni nesil LPU'larda SRAM'den 3D yığın DRAM'e geçiyor

Bellekte kapasite mi hız mı?

Wccftech'in aktardığına göre NVIDIA'nın satın aldığı Groq, yeni nesil LPU (dil işleme birimi) çiplerinde SRAM yerine 3D yığın DRAM teknolojisine geçmeyi planlıyor. Bu tercih, çıkarım donanımında hızdan çok kapasiteye ağırlık verildiğini gösteriyor.

Mevcut nesil ne sunuyor?

Groq'un şu anki LPU'ları 500 MB SRAM barındırıyor ve 150 TB/s'lik çok yüksek bir bant genişliği sağlıyor. SRAM hızlı ama pahalı ve sınırlı kapasiteli bir bellek türü; DRAM ise daha yüksek kapasiteyi daha düşük maliyetle sunarken gecikme ve bant genişliğinde geride kalıyor.

Neden şimdi?

Yapay zekâ modelleri büyüdükçe bellek kapasitesi darboğaz haline geliyor. 3D yığın DRAM, bellek katmanlarını dikey olarak istifleyerek aynı alanda daha fazla kapasite elde etmeyi amaçlıyor. Habere göre Groq, bu dengeyi hız yerine kapasite lehine kuruyor.

NVIDIA ekosistemiyle bağlantı

Haberde, NVIDIA'nın bu yıl duyurduğu Groq LPX raflarının Vera Rubin ekosisteminin parçası olduğu ve Ağustos'ta tam üretime geçtiği belirtiliyor. NVL72 sunucularıyla birlikte kullanıldığında saniyede 3.400 token performansına ulaşıldığı aktarılıyor.

Henüz doğrulanmadı

Bilgiler Wccftech'in haberine dayanıyor; Groq veya NVIDIA'dan resmî bir duyuru ya da ürün takvimi paylaşılmadı. Bu nedenle yeni nesil LPU'ların ne zaman çıkacağı ve 3D yığın DRAM'in hangi üretim ortağıyla yapılacağı net değil.