StepFun, 600 milyar parametreli Step 5 Preview'ı açık ağırlıklarla yayınladı

Kısaca

StepFun, amiral gemisi ajan modeli Step 5 Preview'ın açık ağırlıklarını 14 Ekim'de Hugging Face ve ModelScope'da yayınladı. 600 milyar toplam parametreli seyrek MoE modeli, token başına 27 milyar parametre etkinleştiriyor ve 1 milyon token'a kadar bağlam sunuyor. API'si 20 Eylül'de açılmıştı.

600 milyar toplam, token başına 27 milyar etkin parametre

1 milyon token'a kadar bağlam

FP8 ve BF16 ağırlıkları Hugging Face ve ModelScope'da

92 transformer bloğu, 3:1 kayan pencere/tam dikkat karışımı

MTP-3 başlığıyla yaklaşık %30 hız kazancı

Yalnızca veri merkezi GPU'larında çalışıyor

Ne yayınlandı?

StepFun, ajan işleri için tasarladığı amiral gemisi modeli Step 5 Preview'ın açık ağırlıklarını Hugging Face ve ModelScope üzerinden paylaştı. FP8 ve BF16 sürümleri mevcut. Modelin API'si 20 Eylül'de, ağırlıkları ise 14 Ekim'de yayınlandı.

Mimari

Step 5 Preview seyrek bir Mixture-of-Experts (MoE) modeli: 600 milyar parametrenin her token için yalnızca 27 milyarı devreye giriyor. 92 transformer bloğu, dar ve derin bir tasarım kullanıyor. Dikkat katmanları 3:1 oranında değişiyor: üç kapılı kayan pencere dikkat bloğuna bir tam dikkat bloğu eşlik ediyor. Tam dikkat katmanları, sorgu başına 4.096 geçmiş token'ı seçen seyrek GQA ile 1 milyon token'a kadar bağlama erişiyor. MTP-3 başlığı uçtan uca yaklaşık %30 hız kazancı sağlıyor.

Donanım ihtiyacı

Model yalnızca veri merkezi GPU'larında çalışıyor. FP8 sürümü 4 adet B300 ya da 8 adet H200 gerektiriyor; BF16 sürümü için 8 adet B300 ya da 16 adet H200 gerekiyor. StepFun'ın bildirdiğine göre FP8 kontrol noktası 650,32 GB boyutunda.

Performans

StepFun'ın kendi ölçümlerinde model DeepSWE v1.1'de 67,7, Terminal-Bench 4.0'da 33,3 ve FrontierFinance'te 66,4 alıyor. Artificial Analysis verilerine göre AA-LCR uzun bağlam testinde %88,3, Humanity's Last Exam'de %46,5 ve Zekâ Endeksi'nde 43,7 puana ulaşıyor. Şirketin grafiğinde rakipler farklı çaba ayarlarında çalıştırıldığı için karşılaştırma birebir değil. Vals AI sonuçları bazı zayıf noktaları gösteriyor: SRE Bench'te %0,4, Harvey'in hukuk ajanı testinde %9,2.