Meta Andromeda yeni nesli: saniyede 1 milyar reklam, 100 kat hız artışı

Reklam geri çağırma nedir?

Meta'nın reklam öneri hattının ilk aşaması olan geri çağırma (retrieval), geniş bir reklam havuzunu milisaniyeler içinde küçük bir güçlü aday listesine indiriyor. Daha sonra hesaplama açısından pahalı sıralama (ranking) aşaması bu adayları ayrıntılı puanlıyor. Meta'ya göre tarihsel olarak sıralama aşamasının model kalitesini geri çağırma ölçeğinde uygulamak çok maliyetliydi.

Yeni nesil ne getiriyor?

Meta, Andromeda'nın yeni sürümünde model, sistem ve GPU donanımını birlikte tasarlayarak geri çağırma ölçeğinde sıralamaya yakın model performansı elde ettiğini söylüyor. Üretimde sistem, uygun her reklamı bu kalitede puanlıyor ve saniyede 1 milyardan fazla reklamı öne çıkarıyor. Bu, 2024 Andromeda sistemine kıyasla 100 kat artış olarak tanımlanıyor.

Neden mimari değişti?

2024 sürümü, NVIDIA GH200 Grace Hopper Superchip üzerinde çalışıyordu ve model kapasitesini dört kat büyüklük mertebesinde artırmıştı. Üretken yapay zekâ reklam araçlarıyla reklam havuzu yüz milyonlarca yeni reklama ulaşınca, aynı hesaplama bütçesiyle daha iyi performans için temel bir mimari değişiklik gerekti.

Yeni darboğaz: bellek ve ağ

Meta'ya göre saniyede milyarlarca reklam ölçeğinde darboğaz artık bellek bant genişliği. GPU çekirdekleri arasındaki ara tensörler saniyede terabaytlarca bellek trafiği yaratıyor; reklamların yerel CPU sunucuları ile uzak hızlandırıcılar arasında taşınması da ağ bağlantısını doyuruyor. Çözüm, dağınık iş yüklerini tek bir GPU hattında birleştiren yeni bir sistem tasarımı.

Reklamveren için anlamı

Meta, reklamverenlerin aynı gecikme bütçesi içinde daha büyük bir aday havuzunda daha iyi eşleşme elde ettiğini belirtiyor. Şirket, Andromeda'nın 2025'ten bu yana Facebook'ta dönüşümleri %2,4 artırdığını açıkladı.