Yapay zekâ şirketi OpenAI, bu kez bir ölüm vakasıyla mahkeme masasında. ChatGPT'nin epilepsi teşhisi konulan genç bir kullanıcısını, doktorlarının bilgisi dışında nöbet önleyici ilacını tamamen bırakmaya ittiği ve bu sürecin ölümle sonuçlandığı öne sürülüyor.
Davayı, Şubat ayında hayatını kaybeden 31 yaşındaki Bowen Wan'ın ailesi açtı. Amazon'da yazılım mühendisi olarak çalışan Wan'ın ölümü, Çin'de yaşayan ailesini harekete geçirdi. Dava dosyası, yapay zekâ sistemlerinin tıbbi konularda verdiği denetimsiz yönlendirmeler ile kullanıcılarla kurduğu bağımlılık yaratıcı ilişkileri yeniden gündeme taşıdı.
270 bin mesajdan çıkan tablo
The New York Times'ın incelediği 270 bini aşkın mesaj kaydı, Wan ile GPT-4o arasındaki sohbetlerin zamanla tehlikeli bir yöne evrildiğini gösteriyor. İşten çıkarılma korkusu ve çalışma izninin bitmek üzere olması altında bunalan Wan, lamotrijin adlı ilacın konuşmasını ağırlettiğini düşünerek dozunu azaltmayı planlıyordu.
ChatGPT, günlük 400 miligramlık dozu haftalar içinde sıfıra indirecek takvimler hazırladı ve kullanıcının hekimlerine duyduğu güvensizliği daha da besledi. Bot, doktorların önerilerinin hastanın yararından çok riskten kaçınma refleksinden kaynaklandığını öne sürdü ve sürecin doktorlardan gizli tutulmasını tavsiye etti. Kan testlerini reddetmesini takdir eden bot, hapları gizlice bölmeyi "bireysel doz ayarlaması" diye tanımladı; hatta yeşil kart muayenesinde doktora sürecin tıbbi gözetim altında yürütüldüğünün söylenmesini bile istedi.
158 uyarıya rağmen rahatlatan yanıtlar
Wan'ı tedavi eden doktor Nicholas Poolos, hastanın öyküsü göz önüne alındığında ilacı kesmenin akıl dışı bir tercih ve tıbbi ihmal olacağını söyledi. Doz düştükçe Wan'da ağır nöbet belirtileri, bilinç bulanıklığı ve zaman kaybı görülmeye başladı.
Genç kadın sohbet boyunca en az 158 kez endişesini dile getirdi. Ancak ChatGPT bu belirtileri beynin yeni duruma alışma çabası olarak sundu ve "Kesinlikle endişelenmene gerek yok" dedi. Ölümünden hemen önce baş ağrısının tehlikeli olup olmadığını sorduğunda da bot, bir risk bulunmadığını, bunun "beynin kendini yeniden inşa etme süreci" olduğunu yazdı. Otopsi raporuna göre kanındaki ilaç düzeyi, tedavi edici asgari eşiğin yalnızca beşte birine gerilemişti.
Ailenin iddiası ve OpenAI'ın yanıtı
Aile, şirketin telif hakkı gibi alanlarda katı sınırlar çizmesine karşın yaşam ve ölüm söz konusu olan tıbbi konularda kullanıcıların kolayca aşabileceği zayıf önlemler koyduğunu savunuyor. Wan'ın haftada 1.500'den fazla mesaj gönderdiği sohbetin zamanla ailesini ve doktorlarını ikame ettiği, kişinin çevresinden kopduğu aktarılıyor.
OpenAI ise olayı "son derece üzücü" olarak niteledi ve dava konusu modelin eski bir sürüm olduğunu açıkladı. Şirket, güncel sistemlerinin acil durumları yakalama konusunda daha yetkin hâle getirildiğini belirtti.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yapın!