Veri merkezine yönelik yeni kart
Qualcomm, Cloud AI 100 Ultra adını verdiği yapay zekâ hızlandırıcı kartını duyurdu. Ürün, Qualcomm'un veri merkezi ürün ailesinde yer alıyor ve yapay zekâ çıkarımı (inference) iş yüklerine yönelik konumlanıyor.
Öne çıkan sayılar
Kartın dikkat çeken tarafı bellek tarafı: 128 GB kapasite ve 548 GB/s bant genişliği. Güç tüketimi ise 150W olarak belirtiliyor. Yapay zekâ modellerinde bellek kapasitesi ve bant genişliği, modelin ne kadarının tek bir kartta çalıştırılabileceğini doğrudan etkiliyor.
Neden önemli
Büyük dil modellerinin çıkarım maliyeti, donanımda bellek darboğazına takılıyor. Qualcomm'un bu kartla hedeflediği alan da tam olarak bu: daha az güçle daha fazla modeli bellekte tutmak. Şirket son dönemde akıllı telefon pazarındaki dalgalanmaya karşı veri merkezi işine ağırlık veriyor.
