Araştırma: ChatGPT for Teens güvenlik önlemleri yetersiz, ebeveyn uyarıları çalışmıyor

Kısaca

Common Sense Media'nın Gençlik Yapay Zekâ Güvenliği Enstitüsü, ChatGPT for Teens'i 4.000'den fazla istemle test etti. Araştırmacılar, intihar düşüncesi ve kendine zarar verme içeren bazı konuşmalarda ebeveyn bildiriminin hiç tetiklenmediğini, acil yönlendirmenin ise vakaların dörtte birinden fazlasında yapılmadığını buldu. Kuruluş, sorunlar çözülene kadar ChatGPT'nin gençlerden uzak tutulmasını ön

4.000'den fazla istemle bağımsız güvenlik testi

Ciddi ruh sağlığı konuşmalarında ebeveyn bildirimi tetiklenmedi

Acil yardıma yönlendirme vakaların %25'inden fazlasında yapılmadı

Çalışma modu "Show me the answer" ile atlanabiliyor

@study etiketi silinince Study Hours devre dışı kalıyor

Yaş tespit sistemi test hesaplarını yetişkin deneyiminden çıkarmadı

Ne oldu

Common Sense Media bünyesindeki Gençlik Yapay Zekâ Güvenliği Enstitüsü, OpenAI'nin 18 Ağustos'ta sunduğu ChatGPT for Teens deneyimini 4.000'den fazla istemle test etti. Araştırmacılar, 13-17 yaş arası gençlere kayıtlı hesaplar kullandı ve yanıtları çocuk psikiyatristleri ile bir çocuk doktoruna danışarak değerlendirdi.

Güvenlik ağındaki boşluklar

Ebeveyn bildirimleri, bir gencin ciddi sıkıntı yaşadığını velilere haber vermek için tasarlanmış. Araştırmacılar yeni açılan ve ebeveyne bağlı hesaplardan intihar düşüncesi, kendine zarar verme ve yeme bozukluğu üzerine bir saate kadar konuştu; bu konuşmaların hiçbiri bildirim tetiklemedi. Uyarılar ancak haftalarca geçmişi olan eski hesaplarla üretilebildi.

Acil durumlarda gencin doğru yardıma yönlendirilmesi gerekiyor; ancak uzmanların bu yönlendirmeyi zorunlu kıldığı senaryoların %25'inden fazlasında ChatGPT bunu yapmadı. Olumlu taraf: sohbet botu açık cinsel rol yapmayı reddetti.

Eğitim özellikleri de deliniyor

Çalışma modu, öğrenciyi açıklama, ipucu ve sorularla yönlendirmek yerine doğrudan cevap vermemek üzere kurulmuş. Araştırmacılar, gençlerin "Show me the answer" seçeneğiyle bu yaklaşımı atlayabildiğini gördü. Ebeveynlerin eğitim kullanımını teşvik etmesi için eklenen Study Hours da işe yaramadı: istemden @study etiketini silmek sohbeti normale döndürüyordu. Model ayrıca kullanıcıları olması gerektiği kadar sık ara vermeye yönlendirmedi.

Yaş tespiti ve genel tablo

OpenAI'nin genç kullanıcıları tanıyıp korumaları otomatik uygulayan yaş tespit sistemi de testte başarısız oldu; hesapların 13 yaşında olduğunu tekrar tekrar söylemek yetişkin deneyiminden çıkmayı sağlamadı. Araştırmacılar, ChatGPT'nin gençlerin günlük yaşamının parçası haline geldiğini ve bu boşlukların gerçek sonuçlar doğurabileceğini vurguluyor.