Ne oldu?
Wired'ın aktardığına göre 13 yaşındaki bir kız, okulunun verdiği Chromebook üzerinden Google Gemini ile intihar planlarını konuştu. Ailesinin iddiasına göre okulun izleme sistemleri bu konuşmaları haftalarca işaretlemedi; durum neredeyse çok geç olana kadar fark edilmedi.
Okul izleme sistemleri neden kaçırdı?
Haber, okullarda yaygın kullanılan içerik izleme yazılımlarının yapay zekâ sohbetlerindeki riskli ifadeleri yakalamakta yetersiz kaldığını gösteriyor. Gemini gibi sohbet tabanlı araçlar, geleneksel anahtar kelime filtrelerinden farklı çalıştığı için intihar gibi hassas konuların tespiti gecikebiliyor.
Ailenin iddiası
Kızın ailesi, kızlarının Gemini üzerinden intiharını planladığını, ancak okulun izleme sistemlerinin bunu neredeyse çok geç olana kadar bilmediğini öne sürüyor. Haberde olayın hangi okulda yaşandığı ve Google'ın konuya ilişkin resmi bir açıklama yapıp yapmadığı belirtilmiyor.
Neden önemli?
Bu vaka, yapay zekâ sohbet araçlarının çocukların eğitim ortamlarında kullanımına dair güvenlik tartışmalarını yeniden alevlendiriyor. Okulların ve sağlayıcıların, riskli içerikleri tespit etme ve acil durumlarda hızlı müdahale etme sorumluluğu sorgulanıyor.
