Mistral, zaman serisi modeli Timestral'ı yayınladı: 209M parametreyle TimesFM-3'ü geçiyor

Ne duyuruldu?

Mistral AI, zaman serisi tahmini için geliştirdiği ilk temel model ailesi Timestral'ı yayınladı. Aile, 5M, 28M, 123M ve 209M parametreli dört yoğun modelden oluşuyor. Modellerin ağırlıkları ve çıkarım kodu açık; en büyük sürümün fp32 ağırlıkları 837 MB.

Neden önemli?

Zaman serisi modelleri genelde her veri kümesi için ayrı eğitim ya da güçlü donanım gerektirir. Timestral ise hiç görmediği veride sıfır atışlı tahmin yapıyor ve çıkarımda GPU'ya ihtiyaç duymuyor. Mistral, bunun standart sunucu CPU'sunda olasılıksal tahmin anlamına geldiğini vurguluyor.

Teknik yapı

Model, zaman ve değişken dikkatine sahip, yama tabanlı bir transformer. Her yama 32 zaman adımını kapsıyor; bağlam 32.768 adıma kadar çıkıyor. Model her adım için 21 nicem (quantile) üretiyor ve çok değişkenli hedefleri birlikte tahmin ediyor. Mistral dört teknik katkı sıralıyor: ayrık ufuk tahmini, değişken farkındalıklı dikkat, sentetik ağırlıklı veri ve iki aşamalı eğitim.

Benchmark sonuçları

Mistral'ın model kartında paylaştığı rakamlara göre 209M'lik sürüm, GIFT-Eval'de 0,658 MASE ve 0,446 CRPS, TIME'da 0,626 MASE ve 0,522 CRPS alıyor. fev-bench SQL beceri puanı 50,39 ile TimesFM-3'ün 48,99'unun önünde. Ancak GIFT-Eval farkı oldukça küçük: 0,658'e karşı 0,661.

Kullanım

Mistral, modellerin şirket içi, özel bulut veya hava boşluklu ortamlarda Mistral Forge üzerinden dağıtılabildiğini belirtiyor. Aynı PyTorch kodu CPU'da ya da CUDA'da çalışıyor.