İçeriğe geç
Sıfırıncı Dakika
Son haberler

Sarvam, Hindistan'da barındırılan 8 açık modeli tek API'de sunan Token Factory'yi açtı

Yapay ZekâLansman1 dk okuma
Sarvam, Hindistan'da barındırılan 8 açık modeli tek API'de sunan Token Factory'yi açtı

Kısaca

Sarvam, kendi modellerini ve açık ağırlıklı modelleri Hindistan'daki NVIDIA B200 kümelerinden sunan Sarvam Token Factory'yi herkese açtı. Platform, 8 modeli tek bir OpenAI uyumlu API üzerinden erişilebilir kılıyor ve Hindistan'daki ekiplere yurt dışı buluta trafik göndermeden düşük gecikmeli çıkarım vaat ediyor. Hız rakamları Sarvam'ın kendi ölçümlerine dayanıyor.

  • 8 model tek OpenAI uyumlu API üzerinden
  • Hindistan'daki NVIDIA B200 kümelerinde barındırma
  • Sarvam 105B replika başına tek B200'e sığıyor
  • Kurumsal müşterilere yerinde kurulum seçeneği
  • Önbellek ağırlıklı üç katmanlı çıkarım yığını

Ne duyuruldu?

Sarvam, daha önce Epoch etkinliğinde önizlediği çıkarım platformunu Sarvam Token Factory adıyla herkese açtı. Platform tek bir model değil, yönetilen bir çıkarım yığını. Geliştiriciler tüm modellere OpenAI uyumlu tek bir API üzerinden ulaşıyor.

Lansmanda listelenen 8 model arasında Sarvam 105B (105 milyar toplam, 9 milyar aktif parametre, 128K bağlam), GLM 5.3 ve Flash sürümü, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3 ve K3.1 Pro ile Gemma 4 31B yer alıyor.

Altyapı ve çalışma biçimi

Modeller Hindistan'daki NVIDIA B200 kümelerinde çalışıyor. Sarvam'a göre Sarvam 105B artık her replika için tek bir B200'e sığıyor; kurumsal müşterilere yerinde (on-premise) kurulum da sunuluyor.

Yığın üç katmandan oluşuyor: istekleri yönlendiren önbellek farkındalıklı bir kontrol düzlemi, ön doldurma (prefill) ve üretim (decode) için ayrı GPU havuzları ve GPU belleğiyle paylaşımlı bir depodan oluşan önbellek katmanı. Altyapı vLLM, SGLang, Dynamo ve Mooncake gibi açık kaynak bileşenler üzerine kurulu.

Öne çıkan rakamlar

Sarvam'ın paylaştığı ve bağımsız doğrulanmadığını belirttiği ölçümlere göre:

  • DeepSeek V4.1 Flash günde 450 milyardan fazla token sunuyor; istem token'larının %95,7'si önbellekten geliyor.
  • GLM 5.3'te planlayıcı, aynı yük altında ön doldurma GPU-saatini 32,3'ten 17,1'e indirdi.
  • Sarvam 105B'de tek kullanıcı için ilk token 0,2 saniye, hız 330 token/s.
  • Kimi K3.1 Pro, 16 B200 üzerinde GPU başına 6.177 token/s ile karşılaştırılan sağlayıcının 3.213 rakamının önünde.

Her alanda üstünlük yok

Sarvam sonuçların tam bir üstünlük olmadığını da kabul ediyor. DeepSeek V4.1 Flash'ta 10K istemle Together 0,71 saniyede ilk token verirken Sarvam 0,90 saniyede kalıyor; akış hızında da Together 278 token/s ile Sarvam Standard'ın 130 token/s değerinin önünde.

Neden önemli?

Hindistan merkezli ekipler veya veri ikametgahına dikkat eden geliştiriciler için bölgesel çıkarım seçeneklerinin nasıl çoğaldığını gösteriyor; hız iddialarının ise Sarvam'ın kendi ölçümleri olduğunu unutmamak gerek.

Kaynaklar

İlgili haberler