Baidu, 280 milyar parametreli ERNIE 5.5 Flash Base'i açık kaynak olarak yayımladı

Kısaca

Baidu, 280 milyar parametreli ERNIE 5.5 Flash Base modelini açık kaynak temel model olarak yayımladı. Mixture-of-Experts mimarisindeki model 33,5 trilyon token üzerinde ön eğitildi. Baidu modeli bilinçli olarak ince ayarsız sunuyor; geliştiriciler kendi amaçlarına göre uyarlayabilecek.

280 milyar parametreli MoE mimarisi

33,5 trilyon token üzerinde ön eğitim

İnce ayarsız temel model olarak sunum

Açık kaynak olarak yayımlanma

Açık temel model olarak ERNIE 5.5 Flash Base

Baidu, ERNIE 5.5 Flash Base adlı yeni modelini açık kaynak temel model olarak yayımladı. Model 280 milyar parametreye sahip ve Mixture-of-Experts (MoE) mimarisiyle çalışıyor. MoE, her sorguda modelin yalnızca bir bölümünü devreye alarak hesaplama maliyetini düşüren bir yaklaşım.

33,5 trilyon token ile ön eğitim

Model 33,5 trilyon token üzerinde ön eğitildi. Bu, modelin geniş bir metin birikiminden öğrendiği anlamına geliyor. Baidu, modeli bilinçli olarak ince ayar yapılmadan (fine-tuning) sunuyor.

Geliştiriciye serbestlik

İnce ayarsız temel model, geliştiricilerin modeli kendi verileriyle ve kendi kullanım senaryolarına göre şekillendirmesine olanak tanıyor. Baidu böylece hazır bir ürün yerine üzerine inşa edilecek bir zemin sağlıyor.

Neden önemli

Çinli büyük bir şirketin büyük ölçekli bir modeli açık ağırlıklarla paylaşması, açık kaynak model ekosistemindeki rekabeti artırıyor. Geliştiriciler için bu, kendi altyapılarında çalıştırabilecekleri yeni bir seçenek anlamına geliyor.