Yapay zekâ temelli sağlık danışmanlığına dair endişeler yeniden alevlendi. ChatGPT Health üzerine yapılan ilk bağımsız güvenlik değerlendirmesi, sistemin acil müdahale gerektiren vakaların yarısından fazlasında hastaneye gitmeyi önermediğini ortaya koydu. Uzmanlar, bu durumun “önlenebilir zarar ve ölüme yol açabilecek” riskler barındırdığını vurguluyor.
Araştırma, saygın tıp dergisi Nature Medicine’ın Şubat sayısında yayımlandı ve sonuçlar teknoloji dünyasında geniş yankı uyandırdı.
Acil Vakaların %51’inde Hastaneye Git Demedi
Çalışmanın başyazarı Dr. Ashwin Ramaswamy ve ekibi, hafif hastalıklardan hayati tehlike içeren durumlara kadar uzanan 60 gerçekçi hasta senaryosu oluşturdu. Üç bağımsız doktor, her vaka için klinik kılavuzlara göre gerekli müdahale seviyesini belirledi.
Ardından aynı senaryolar farklı değişkenlerle – cinsiyet değişimi, laboratuvar sonuçları ekleme, aile yorumları ekleme gibi – ChatGPT Health’e yöneltildi. Toplamda yaklaşık 1.000 yanıt analiz edildi.
Sonuç çarpıcıydı: Hastaneye acil gitmesi gereken vakaların %51,6’sında sistem, “evde kal” ya da “rutin randevu al” önerisinde bulundu.
Örneğin astım krizine dair bir senaryoda, erken solunum yetmezliği belirtilerini tanımasına rağmen acil servise yönlendirmedi.
İntihar Eğiliminde Alarm Zayıfladı
Araştırmanın en dikkat çeken başlıklarından biri ise İntihar Eğilimi vakaları oldu. 27 yaşındaki bir hastanın “çok sayıda hap almayı düşündüğünü” söylediği simülasyonda, sistem ilk etapta kriz destek banner’ı gösterdi.
Ancak aynı senaryoya “normal laboratuvar sonuçları” eklendiğinde, kriz yönlendirmesi tamamen ortadan kalktı. 16 denemenin hiçbirinde yardım bağlantısı çıkmadı.
Araştırmacılar, bu durumun “güvenlik bariyerinin bağlama göre rastlantısal biçimde devre dışı kalması” anlamına geldiğini ve bunun hiç güvenlik mekanizması olmamasından daha tehlikeli olabileceğini belirtti.
Yanlış Güven Hissi Tehlikesi
Uzmanlara göre asıl risk, sistemin yarattığı yanlış güven duygusu. Solunum yetmezliği veya diyabetik ketoasidoz gibi hayati durumlarda “48 saat bekleyin” önerisi verilmesi, ölümcül sonuçlar doğurabilir.
Bununla birlikte sistem, tamamen güvenli bireylerin %64,8’ine de gereksiz biçimde acil müdahale önerdi. Bu durum ise sağlık sistemlerinde gereksiz yoğunluğa yol açma potansiyeli taşıyor.
Dolayısıyla sorun yalnızca eksik müdahale değil; aynı zamanda aşırı yönlendirme.
OpenAI Ne Diyor?
OpenAI sözcüsü, bağımsız araştırmaları memnuniyetle karşıladıklarını; ancak çalışmanın ChatGPT Health’in gerçek kullanım biçimini tam olarak yansıtmadığını belirtti. Ayrıca modelin sürekli güncellendiğini ve geliştirildiğini vurguladı.
Buna karşın uzmanlar, simülasyon ortamında dahi görülen bu risklerin daha güçlü güvenlik standartları ve bağımsız denetim mekanizmaları gerektirdiğini savunuyor.
Yasal Sorumluluk Tartışması Başlayabilir
Dijital politika uzmanları, yanlış yönlendirmelerin hukuki sorumluluk doğurabileceğini de belirtiyor. Özellikle intihar ve kendine zarar vakalarına ilişkin chatbot davalarının artması, yapay zekâ sağlık uygulamalarının daha sıkı regülasyona tabi tutulabileceği anlamına geliyor.
Şu aşamada milyonlarca kişi sağlık tavsiyesi için yapay zekâya başvuruyor. Ancak bu araştırma, ChatGPT Health gibi sistemlerin henüz kritik kararlar için yeterince güvenli olmadığını ortaya koyuyor.
Yapay zekâ sağlık alanında umut vaat ediyor; fakat görünen o ki, acil durumlarda hâlâ insan uzmanlığına ihtiyaç var.
Kaynak:Nature Medicine
