Meta'nın Muse Spark Open modeli Apple M5 Ultra Mac Studio'da çalışacak şekilde optimize edildi

Kısaca

Meta, açık ağırlıklı Muse Spark Open modelini Apple cihazlarında yüksek verim için özel olarak ince ayarladı. 816 milyar parametreli model, çalışma anında yalnızca 42 milyar parametre etkinleştiriyor ve iki Apple M5 Ultra Mac Studio üzerinde saniyede 20 token hızına ulaşıyor.

816 milyar parametre, çalışma anında 42 milyar parametre etkin

İki Apple M5 Ultra Mac Studio'da saniyede 20 token

Apple cihazları için özel ince ayar

Açık ağırlıklı model

Apple ve Meta'dan beklenmedik ortaklık

Meta, açık ağırlıklı Muse Spark Open modelini Apple cihazlarında yüksek verim sağlayacak şekilde özel olarak ince ayarladı. Bu, Apple'ın kendi sınır seviyesi modelini geliştirmek yerine, kaynaklarını bu işe ayıran bir şirketle ortaklık kurma yolunu seçtiğini gösteriyor.

Modelin teknik yapısı

Muse Spark Open 816 milyar parametreye sahip, ancak her adımda yalnızca 42 milyar parametre etkinleşiyor. Bu "seyrek" (sparse) yapı, modelin tamamını çalıştırmadan yüksek performans elde etmesini sağlıyor.

Performans

Model, iki adet Apple M5 Ultra Mac Studio üzerinde saniyede 20 token üretim hızına ulaşıyor. Bu, büyük bir modelin masaüstü donanımda çalıştırılabildiğini göstermesi açısından dikkat çekici.

Neden önemli

Apple, yapay zekâ yarışında kendi amiral gemisi modelini geliştirmek yerine Meta ile işbirliği yaparak cihaz üzerinde güçlü model çalıştırma yolunu seçmiş görünüyor. Bu ortaklık, yerel yapay zekâ için donanım-yazılım işbirliğinin önemini artırıyor.