Google, TPU'lar için açık kaynaklı KV önbellek taşıma kütüphanesi TPU Sync'i yayımladı

Kısaca

Google Cloud, Cloud TPU'lar üzerinde KV önbelleklerini ve model ağırlıklarını taşımak için açık kaynaklı C++ kütüphanesi TPU Sync'i yayımladı. Şirketin kendi testlerinde 235-480 milyar parametreli MoE modellerde KV taşıma gecikmesi %90'ın üzerinde azaldı. Kütüphane Apache-2.0 lisanslı ve henüz genel kullanım için önerilmiyor.

Apache-2.0 lisanslı açık kaynak C++ kütüphanesi

PyTorch ve JAX için Python paketleri

KV önbellek ve ağırlık taşıma desteği

Cloud TPU v7x (Ironwood) ve v6e üzerinde test edildi

Büyük MoE modellerde %90'ın üzerinde daha düşük KV taşıma gecikmesi (Google iç testi)

Ne yayımlandı?

Google Cloud, Cloud TPU'lar üzerinde çalışan modellerin KV önbelleğini ve ağırlıklarını taşımak için TPU Sync adlı açık kaynaklı C++ kütüphanesini yayımladı. Kütüphane Apache-2.0 lisansıyla paylaşıldı; PyTorch ve JAX için Python paketleri de mevcut.

KV önbellek, bir dil modelinin önceki hesaplarını saklayarak yanıt üretimini hızlandıran ara bellek. TPU Sync, TPU'nun yüksek bant genişlikli belleği (HBM), sunucu RAM'i, paylaşımlı depolama ve veri merkezi ağını tek bir bellek hiyerarşisi gibi ele alıyor.

Neden önemli?

Google'a göre darboğaz artık hesaplama değil, model durumunun taşınması. Şirketin Temmuz 2026'daki iç testlerinde 235-480 milyar parametreli MoE modellerde KV taşıma gecikmesi %90'ın üzerinde düştü; Qwen3 235B'de taşıma süresi saniyelerden yaklaşık 230 milisaniyeye indi. İlk token süresinde de %90'a varan iyileşme bildirildi.

Teknik ayrıntılar

Veriler TPU'nun kendi döşeme düzeninde, kopyalanmadan doğrudan DMA ile taşınıyor.
Transferler hesaplama sürerken arka planda yürütülüyor.
Veri yolunda XLA derlemesi yok; aktarım ve yeniden dağıtım saf C++ ile çalışıyor.
Ironwood (TPU v7x) sunucu başına 223 GB/s'ye kadar PCIe bant genişliği, tek ağ kartında ~192 Gbps ağ akışı raporlanıyor.

Sınırlar

Tüm rakamlar Google'ın kendi ölçümlerine dayanıyor ve gerçek dünyada farklılık gösterebileceği belirtiliyor. Pekiştirmeli öğrenme tarafı için sayı paylaşılmadı ve README, kütüphanenin henüz genel kullanım için önerilmediğini söylüyor.