Google, TPU'larda vLLM ve SGLang için yerel PyTorch desteği sundu

Kısaca

Google, TorchTPU ile güçlendirilmiş vLLM ve SGLang çıkarım motorları için yerel PyTorch arka uçlarını duyurdu. Açık kaynak proje sürdürücüleriyle geliştirilen motorlar, TPU'ya özel çekirdekler ve KV önbellek yönetimi gibi üretim özellikleri içeriyor. Ironwood TPU'da uzun bağlam ve ajan iş yüklerinde sektör lideri maliyet verimliliği sağladığı belirtiliyor.

vLLM ve SGLang için yerel PyTorch arka uçları

TorchTPU ile TPU'ya özel optimize çekirdekler

TPU Sync ile KV önbellek yönetimi

Ayrıştırılmış sunum desteği

Ironwood TPU'da uzun bağlam ve ajan iş yükleri için iyileştirme

TPU'da PyTorch tabanlı çıkarım

Google, vLLM ve SGLang çıkarım motorlarının TPU'da yerel PyTorch arka uçlarıyla çalıştığını duyurdu. TorchTPU altyapısı sayesinde geliştiriciler, alıştıkları PyTorch araçlarıyla sunum iş yüklerini çalıştırıp optimize edebilecek.

Neler geliyor?

TPU'ya özel optimize edilmiş çekirdek uygulamaları
TPU Sync ile KV önbellek yönetimi
Ayrıştırılmış sunum (disaggregated serving) desteği

Bu özellikler, üretim ortamlarında düşük gecikme ve yüksek verim hedefleyen ekipler için tasarlanmış.

Kimin için?

Duyuru, açık kaynak proje sürdürücüleriyle iş birliği içinde hazırlandı. PyTorch ekosisteminde çalışan geliştiriciler, mevcut modellerini TPU'ya taşırken ekstra özel yazılım katmanına ihtiyaç duymayacak.

Performans iddiası

Google'ın paylaştığı kamuya açık kıyaslamalar, Ironwood TPU üzerinde uzun bağlam ve ajan tabanlı iş yüklerinde son teknoloji performans ve sektör lideri maliyet verimliliği gösteriyor. Şirket, bu motorların üretime hazır olduğunu vurguluyor.