Gemini 4 Carbon, MathArena zirvesini aldı: GPT-6.1 Sol'dan 15 kat pahalı

Kısaca

Google'ın Gemini 4 Carbon modeli, MathArena matematik kıyaslamasında OpenAI'ın GPT-6.1 Sol modelini ilk sıradan indirdi. Anthropic'in Fable 5.2 modeli de üst sıralara yerleşti; ancak iki modelin maliyeti GPT-6.1 Sol'un çok üzerinde. Testte Gemini'nin süre sınırını aştığı ve görevlerden neredeyse hiç vazgeçmediği belirtiliyor.

MathArena matematik kıyaslamasında birinci sıra

GPT-6.1 Sol'a göre yaklaşık 15 kat daha yüksek maliyet

Testte süre sınırını aşma ve görevden nadiren vazgeçme

Anthropic Fable 5.2 de üst sıralarda

MathArena'da liderlik değişti

Uzun süredir OpenAI modellerinin başını çektiği MathArena matematik kıyaslamasında ilk sıra el değiştirdi. Google'ın Gemini 4 Carbon modeli, OpenAI'ın GPT-6.1 Sol modelini geride bırakarak zirveye yerleşti. Anthropic'in Fable 5.2 modeli de üst sıralarda yer aldı.

Maliyet farkı dikkat çekiyor

Zirve değişse de tablo maliyet açısından OpenAI'ın lehine. Habere göre Gemini 4 Carbon, GPT-6.1 Sol'a kıyasla yaklaşık 15 kat daha pahalı çalışıyor. Yani daha yüksek doğruluk, çok daha yüksek bir işlem maliyetiyle geliyor.

Test davranışı

Değerlendirme sırasında Gemini'nin verilen süre sınırını aştığı ve görevlerden neredeyse hiç vazgeçmediği aktarılıyor. Bu, modelin zor problemlerde ısrarcı olduğunu ama bunun süre ve maliyet olarak yansıdığını gösteriyor.

Ne anlama geliyor?

MathArena gibi kıyaslamalar, modellerin matematiksel akıl yürütme yeteneğini ölçmek için kullanılıyor. Sıralama değişimi, Google'ın akıl yürütme odaklı modellerde OpenAI'a ciddi bir rakip olduğunu gösteriyor; ancak fiyat/performans dengesi hâlâ tartışmalı.