Anthropic, Claude'un 'rüya görmesini' araştırıyor: boşta kalınca belleğini düzeltiyor

Bellekte ne saklanmalı?

Anthropic, Claude'un görev sırasında yararlı bilgileri bellek dosyalarına kaydettiğini, ancak her etkileşimi kaydetmenin karmaşa yarattığını, önemli ayrıntıları atlamanın ise sonraki oturumları bağlamsız bıraktığını belirtiyor. Şirket bu dengeyi Pokémon Red oyunu üzerinde test etti.

Yaklaşık 10.000 oyun adımı sonrası iki model karşılaştırıldı. Sonnet 3.7 neredeyse her şeyi kaydetti: 225 klasörde 413 dosya ve yaklaşık 978 bin karakter. Buna karşın yalnızca bir rozet kazandı. Claude Fable 5 ise üç konumda 10 dosya ve yaklaşık 43 bin 400 karakterle dört rozet topladı.

'Rüya görme' nasıl çalışıyor?

Anthropic'in 'rüya görme' dediği süreç, insan beyninin uykuda anıları pekiştirmesinden esinleniyor. Claude boşta kaldığında önceki konuşmaları gözden geçiriyor, yanlış bilgileri tespit ediyor, notlarını iyileştiriyor ve sonraki oturumların erişebileceği düzenli bir bilgi tabanı oluşturuyor.

Şirket, hatalı belleğin nasıl düzeltilebileceğini de gösterdi. Claude, Mt. Moon yakınındaki bir Pokémon Merkezi'nin konumunu yanlış kaydetmişti; bu yüzden tek yönlü bir çıkıntıdan tekrar tekrar geçip eski rotaya dönüyordu. Çevrimdışı incelemede notlarını özgün oturum kaydıyla karşılaştıran Claude hatayı buldu ve dosyayı düzeltti. Ardından Cerulean City'ye ulaştı; hatalı bellekle çalışan sürüm ise aynı engelde takılı kaldı.

Belgelerden bilgi tabanı

Anthropic ayrıca büyük belge koleksiyonlarının birbirine bağlı bilgi tabanlarına dönüştürülüp dönüştürülemeyeceğini inceledi. Yazılım şirketi Stainless'ın yaklaşık 350 bin iç belgesi (yaklaşık 420 milyon token) üzerinde yapılan deneyde Claude, 128 oturum boyunca bir wiki geliştirdi. 25 değerlendirme sorusundaki başarı oranı yüzde 13'ten yüzde 48'e çıktı.