Ne duyuruldu?
NVIDIA, Kore'nin önde gelen açık modelleri için Dynamo optimizasyonlu dağıtım tarifleri (deployment recipes) yayımladığını duyurdu. Kapsamda dört model var: SK Telecom'un A.X K2'si, LG AI Research'ün K-EXAONE 2.0'ı, Upstage'in Solar Open 2'si ve Motif Technologies'in Motif-3'ü.
Neden önemli?
Modeller tek bir GPU'nun kapasitesini aştığında birden fazla GPU'ya bölünmek zorunda. Bu da istek yönlendirmesinin (request routing) dikkatle koordine edilmesini gerektiriyor. NVIDIA'nın tarifleri, bu dağıtım karmaşıklığını azaltarak açık modellerin üretim ortamına alınmasını kolaylaştırmayı amaçlıyor.
Açık modeller ve üretim
Duyuru, açık ağırlıklı modellerin yalnızca deneme amaçlı değil, gerçek iş yüklerinde de kullanılabilmesi için altyapı tarafının hazırlanmasına işaret ediyor. Dynamo, NVIDIA'nın çıkarım (inference) süreçlerini ölçeklendirmeye yönelik yazılım katmanı olarak konumlanıyor.
