Ne duyuruldu?
Sarvam, daha önce Epoch etkinliğinde önizlediği çıkarım platformunu Sarvam Token Factory adıyla herkese açtı. Platform tek bir model değil, yönetilen bir çıkarım yığını. Geliştiriciler tüm modellere OpenAI uyumlu tek bir API üzerinden ulaşıyor.
Lansmanda listelenen 8 model arasında Sarvam 105B (105 milyar toplam, 9 milyar aktif parametre, 128K bağlam), GLM 5.3 ve Flash sürümü, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3 ve K3.1 Pro ile Gemma 4 31B yer alıyor.
Altyapı ve çalışma biçimi
Modeller Hindistan'daki NVIDIA B200 kümelerinde çalışıyor. Sarvam'a göre Sarvam 105B artık her replika için tek bir B200'e sığıyor; kurumsal müşterilere yerinde (on-premise) kurulum da sunuluyor.
Yığın üç katmandan oluşuyor: istekleri yönlendiren önbellek farkındalıklı bir kontrol düzlemi, ön doldurma (prefill) ve üretim (decode) için ayrı GPU havuzları ve GPU belleğiyle paylaşımlı bir depodan oluşan önbellek katmanı. Altyapı vLLM, SGLang, Dynamo ve Mooncake gibi açık kaynak bileşenler üzerine kurulu.
Öne çıkan rakamlar
Sarvam'ın paylaştığı ve bağımsız doğrulanmadığını belirttiği ölçümlere göre:
- DeepSeek V4.1 Flash günde 450 milyardan fazla token sunuyor; istem token'larının %95,7'si önbellekten geliyor.
- GLM 5.3'te planlayıcı, aynı yük altında ön doldurma GPU-saatini 32,3'ten 17,1'e indirdi.
- Sarvam 105B'de tek kullanıcı için ilk token 0,2 saniye, hız 330 token/s.
- Kimi K3.1 Pro, 16 B200 üzerinde GPU başına 6.177 token/s ile karşılaştırılan sağlayıcının 3.213 rakamının önünde.
Her alanda üstünlük yok
Sarvam sonuçların tam bir üstünlük olmadığını da kabul ediyor. DeepSeek V4.1 Flash'ta 10K istemle Together 0,71 saniyede ilk token verirken Sarvam 0,90 saniyede kalıyor; akış hızında da Together 278 token/s ile Sarvam Standard'ın 130 token/s değerinin önünde.