Veri hazırlığı neden kritik?
Üretken yapay zekâ modellerini üretime taşıyan ekipler için en yavaş aşama genellikle veri hazırlığı. Etiketli örnek bulmak zor ve pahalı, gizlilik kuralları kullanılabilecek veriyi sınırlıyor; kopyalar, etiket gürültüsü ve cevap sızıntısı gibi sorunlar ancak eğitim sonuçları düşük çıkınca fark ediliyor.
AWS, bu süreci kolaylaştırmak için Amazon SageMaker AI'a yeni yapay zekâ veri hazırlama yetenekleri eklediğini açıkladı. Araçlar, etiketleme araçlarını, üretim betiklerini ve doğrulama işlerini bir araya getirme ihtiyacını ortadan kaldırmayı hedefliyor.
Öne çıkan yetenekler
- Otomatik etiketleme: Sınıflandırma, varlık tanıma, çıkarımsal soru-cevap, sıralı derecelendirme ve özetleme gibi görevlerde etiketleme yapılabiliyor. Birden fazla modelin etiketlediği satırlarda modellerin uzlaşma düzeyi güven puanı olarak kullanılıyor.
- İnsan incelemesi: Güven eşiğinin altında kalan satırlar, SageMaker Studio'da açık kaynak Label Studio Community Edition tabanlı bir inceleme kuyruğuna düşüyor. Uzman düzeltmeleri otomatik etiketlemeye geri besleniyor.
- Sentetik veri üretimi: Kendi tohum verilerinize ve belgelerinize dayalı olarak eğitim, değerlendirme ve test verisi üretilebiliyor; üretilen kod tabanlı veri hattı incelenip değiştirilebiliyor.
- Veri kalitesi değerlendirmesi: İş kuralları, yerleşik metrikler ve LLM-as-a-judge metrikleriyle veri setleri kontrol ediliyor; kopyalar, etiket gürültüsü ve cevap sızıntısı tespit edilebiliyor.
- Veri dönüştürme: Sade bir dille anlatılan değişiklikler kod olarak üretilebiliyor; tekilleştirme, birleştirme, bölme ve filtreleme gibi hazır işlemler ya da ölçekli Python kodu çalıştırılabiliyor.
Nerede kullanılıyor?
Yetkinlikler SageMaker Python SDK üzerinden doğrudan ya da ajan araç setindeki AI-ML becerisiyle çağrılabiliyor. AWS, kullanıcıların SageMaker Studio JupyterLab, Kiro veya yerel IDE'lerinde tercih ettikleri kodlama asistanıyla çalışabileceğini belirtiyor.



