Amazon Bedrock, Claude modelleri için yapılandırılmış çıktı desteği sundu

Kısaca

Amazon Bedrock, tüm Anthropic Claude modellerinde yapılandırılmış çıktıları desteklemeye başladı. Model artık verilen JSON şemasına uyan yanıtlar üretiyor; böylece ayrıştırma hatası, yeniden deneme ve sonradan işleme ihtiyacı ortadan kalkıyor. Özellik hem bedrock-runtime hem de bedrock-mantle uç noktalarında geçerli.

Tüm Anthropic Claude modellerinde yapılandırılmış çıktı desteği

Üretim sırasında uygulanan kısıtlı kod çözme ile şemaya uyumlu JSON

JSON Schema çıktı biçimi ve katı araç kullanımı

Toplu çıkarım ve bölgeler arası çıkarım desteği

24 saatlik dil bilgisi önbelleği ile tekrarlanan isteklerde düşük ek yük

Ne değişti?

Amazon Bedrock, Anthropic Claude modelleri için yapılandırılmış çıktı (structured outputs) desteğini duyurdu. Model, kendisine verilen JSON şemasına uymayan token üretmiyor. AWS bunu "kısıtlı kod çözme" (constrained decoding) olarak adlandırıyor: şema, üretim sırasında uygulanıyor, sonradan kontrol edilmiyor.

Böylece çıktı biçimi olasılıksal olmaktan çıkıp belirlenimci hale geliyor. Geliştiriciler artık JSON.parse() hatalarıyla, eksik alanlarla veya şema ihlalleri için yeniden deneme mantığıyla uğraşmak zorunda değil.

İki mekanizma

JSON Schema çıktı biçimi: Modelin yanıt yapısını kontrol eder. Veri çıkarma, rapor üretimi ve API yanıtları için kullanılıyor.
Katı araç kullanımı (strict tool use): Araç parametrelerini şemaya göre doğrular. Ajan iş akışları, fonksiyon çağırma ve çok adımlı otomasyon için öne çıkıyor.

Nasıl çalışıyor?

Bedrock önce şemayı desteklenen JSON Schema Draft 2020-12 alt kümesine göre doğruluyor. Yeni şemalar için bir dil bilgisi (grammar) dosyası derleniyor; bu yüzden ilk istek biraz daha uzun sürebiliyor. Derlenen dil bilgisi 24 saat önbellekte tutuluyor ve hesaba özel. Şemanın yapısı değişirse önbellek geçersiz oluyor; yalnızca ad veya açıklama alanları değişirse önbellek korunuyor.

Kullanım alanları ve sınırlar

AWS; finansal raporlardan alan çıkarma, klinik notları elektronik sağlık kayıtlarına dönüştürme, sözleşme analizi ve destek talebi yönlendirme gibi örnekler veriyor. Özellik toplu çıkarım (batch inference) ile çalışıyor; bedrock-runtime üzerinde bölgeler arası çıkarım da destekleniyor. Gerçek zamanlı ihtiyaçlar için yanıtlar tipli olaylar halinde akıtılabiliyor. Şema yalnızca tanımlı alanlarla sınırlı tutulduğu için çıktı token sayısı ve dolayısıyla yüksek hacimli işlerde çıkarım maliyeti düşebiliyor.