Google Cloud, TPU ve GPU filoları için llm-d 1.0'ı yayınladı

Kısaca

Google Cloud ve ortakları, açık kaynak dağıtık çıkarım yığını llm-d'nin ilk kararlı sürümünü PyTorch Conference North America'da duyurdu. Kubernetes üzerinde vLLM veya SGLang sunucularını tek havuzda birleştiren yığın, önbellek farkındalıklı yönlendirme ve katmanlı KV önbellek boşaltma ile üretim ölçeğinde ajan ve pekiştirmeli öğrenme iş yüklerini hedefliyor.

Kubernetes üzerinde vLLM ve SGLang için dağıtık çıkarım

Önbellek farkındalıklı ve önek farkındalıklı yönlendirme

Katmanlı KV önbellek boşaltma (HBM'den Lustre'a)

Prefill/decode ayrıştırması

Çok kiracılı hizmet kalitesi ve kesintisiz yükseltme

TorchTPU ile genişletilmiş TPU desteği

llm-d 1.0 nedir?

Google Cloud, Red Hat, IBM, CoreWeave ve NVIDIA'nın 2025'te başlattığı llm-d projesi ilk kararlı sürümüne ulaştı. Kubernetes üzerinde çalışan açık kaynak yığın, vLLM veya SGLang model sunucularını tek bir koordineli havuza dönüştürüyor. Proje Apache 2.0 lisanslı ve CNCF Sandbox kapsamında.

Neyi çözüyor?

Klasik yuvarlak robin yük dengeleme, ajan ve pekiştirmeli öğrenme iş yüklerinde verimli çalışmıyor. llm-d 1.0, isteği önbelleğinde bağlam bulunan replikaya yönlendiriyor; önek farkındalıklı yönlendirme, KV önbellek boşaltma ve prefill/decode ayrıştırmasıyla gecikmeyi düşürüyor.

Sürümle gelenler

Çok kiracılı hizmet kalitesi: öncelik ve adalet farkındalıklı akış kontrolü
Kararlı v1 API'leri ve sağlamlaştırılmış istek yolu
Kesintisiz yükseltme: yönlendirici yüksek erişilebilirliği ve DisaggregatedSet
Ajan farkındalıklı sunum: oturum farkındalıklı yönlendirme ve Responses API durumu
Eşzamansız çıkarım: Pub/Sub veya Redis'ten iş çeken işlemci
Genişletilmiş TPU desteği: TorchTPU ile PyTorch modelleri

Performans

Google'ın yayımladığı ve satıcı tarafından bildirilen ölçümlere göre 17.000 düğümlü çok bölgeli GKE kurulumunda Ironwood TPU kodlama iş yükünde medyan ilk token süresi %85'ten fazla kısaldı ve verim 2,4 kat arttı. Pekiştirmeli öğrenme zaman dilimlemede hızlandırıcı doluluk oranı %70'in biraz üzerine çıkıyor; yani yaklaşık %30 boşta kalma sürüyor.