Google, TPU'larda vLLM ve SGLang için yerel PyTorch desteği sundu
Google, TorchTPU ile güçlendirilmiş vLLM ve SGLang çıkarım motorları için yerel PyTorch arka uçlarını duyurdu. Açık kaynak proje sürdürücüleriyle geliştirilen motorlar, TPU'ya özel çekirdekler ve KV önbellek yönetimi gibi üretim özellikleri içeriyor. Ironwood TPU'da uzun bağlam ve ajan iş yüklerinde sektör lideri maliyet verimliliği sağladığı belirtiliyor.
