Google TPU'ları Meta'nın veri merkezlerinde üretimde çalışıyor

Kısaca

Google'ın yapay zekâ çipleri TPU'lar, Meta'nın veri merkezlerinde üretim iş yüklerinde kullanılmaya başladı. Bu, TPU'ların ilk kez harici bir müşteride üretimde çalışması anlamına geliyor ve NVIDIA'nın yazılım üstünlüğüne karşı bir adım olarak görülüyor.

Google TPU'ları Meta veri merkezlerinde üretimde çalışıyor

SGLang ve vLLM için PyTorch'a yerel TPU desteği açık kaynak yayınlandı

Uygulamalar çoğunlukla yeniden yazılmadan TPU'larda çalışabiliyor

Meta, Google ve RadixArk ortak geliştirdi

Ne oldu?

Google'ın yapay zekâ iş yükleri için geliştirdiği TPU (Tensor Processing Unit) çipleri, artık Meta'nın veri merkezlerinde üretim ortamında çalışıyor. Bu, Google'ın çiplerinin ilk kez harici bir müşteride üretimde kullanılması anlamına geliyor.

PyTorch'a yerel destek

Duyuru, Google'ın geliştirici blogunda yapıldı. Buna göre SGLang çıkarım motorunun PyTorch'a yerel çalışan yeni bir sürümü ve vLLM'in eşleşen bir sürümü açık kaynak olarak yayınlandı. Daha önce bu iki motor TPU'larda çalışmak için Google'ın kendi JAX çerçevesini kullanıyordu. Yeni sürümler, PyTorch ile yazılmış yapay zekâ uygulamalarının çoğunlukla yeniden yazılmadan TPU'larda çalışmasını sağlıyor.

Kimler yer aldı?

Meta'nın PyTorch-TPU sorumlusu Zongwei Zhou, SGLang-TorchTPU'nun Meta'da üretimde çalıştığını söyledi. Motor, Meta, Google ve SGLang ekibinin ortak çalışmasıyla geliştirildi. SGLang'ın kurucularının kurduğu RadixArk girişimi de süreçte yer aldı. Meta tarafı, tek bir donanım mimarisiyle sınırlı kalmak istemediklerini belirtiyor.

Neden önemli?

Bu hamle, NVIDIA'nın CUDA yazılım ekosistemiyle kurduğu kilidi gevşetmeyi hedefliyor. Amazon da aynı PyTorch konferansında Trainium çipleri için kendi PyTorch arka ucunu açık kaynak yaptığını duyurmuştu. Google, TPU'ları ilk kez dış müşterilere satarak NVIDIA'nın pazar hâkimiyetine meydan okuyor.