Araştırma, yapay zekalı sohbet robotlarının ırkı tespit edebildiğini ancak ırksal önyargının yanıt empatisini azalttığını ortaya koyuyor.

MIT, NYU ve UCLA'daki araştırmacılar, GPT-4 gibi büyük dil modellerinin ruh sağlığı desteği için klinik olarak uygulanabilir olacak kadar adil olup olmadığını değerlendirmeye yardımcı olacak bir yaklaşım geliştiriyor.

Anonimlik ve yabancıların arkadaşlığı sayesinde, dijital dünyanın ruh sağlığı desteği aramak için cazibesi giderek artıyor. Bu olgu, Amerika Birleşik Devletleri'nde 150 milyondan fazla insanın federal olarak belirlenmiş ruh sağlığı uzmanı açığı olan bölgelerde yaşıyor olması gerçeğiyle destekleniyor.

“Yardımınıza gerçekten ihtiyacım var, çünkü bir terapistle konuşmaktan çok korkuyorum ve zaten bir terapiste de ulaşamıyorum.”

“Kocamın arkadaşlarına benimle dalga geçmesine aşırı tepki verip inciniyor muyum?”

“Bazı yabancılar lütfen hayatımı tartıp geleceğime benim yerime karar verebilir mi?”

Yukarıdaki alıntılar, kullanıcıların “subreddits” olarak bilinen daha küçük, ilgi alanına dayalı forumlarda içerik paylaşabildiği veya tavsiye isteyebildiği bir sosyal medya haber sitesi ve forumu olan Reddit'teki kullanıcılardan alınan gerçek gönderilerdir. 

MIT, New York Üniversitesi (NYU) ve California Los Angeles Üniversitesi'nden (UCLA) araştırmacılar, ruh sağlığı ile ilgili 26 alt dizinden 70.429 yanıt içeren 12.513 gönderiden oluşan bir veri kümesi kullanarak, GPT-4 gibi büyük dil modellerine (LLM'ler) dayalı ruh sağlığı destek sohbet robotlarının eşitliğini ve genel kalitesini değerlendirmeye yardımcı olacak bir çerçeve geliştirdiler. Çalışmaları kısa süre önce 2024 Doğal Dil İşlemede Ampirik Yöntemler Konferansı'nda (EMNLP) yayınlandı.

Bunu başarmak için araştırmacılar, iki lisanslı klinik psikologdan, ruh sağlığı desteği arayan rastgele örneklenmiş 50 Reddit gönderisini değerlendirmelerini ve her gönderiyi bir Redditor'un gerçek yanıtı veya GPT-4 tarafından oluşturulan bir yanıtla eşleştirmelerini istedi. Hangi yanıtların gerçek hangilerinin yapay zeka tarafından üretildiğini bilmeden, psikologlardan her bir yanıttaki empati düzeyini değerlendirmeleri istendi.

Ruh sağlığı destek sohbet robotları, ruh sağlığı desteğine erişimi iyileştirmenin bir yolu olarak uzun zamandır araştırılıyor, ancak OpenAI'nin ChatGPT'si gibi güçlü LLM'ler, insan-yapay zeka etkileşimini dönüştürüyor ve yapay zeka tarafından üretilen yanıtları gerçek insanların yanıtlarından ayırt etmek zorlaşıyor.

Bu kayda değer ilerlemeye rağmen, YZ tarafından sağlanan ruh sağlığı desteğinin istenmeyen sonuçları, potansiyel olarak ölümcül risklerine dikkat çekti; geçen yılın Mart ayında Belçikalı bir adam, GPT-J adlı bir LLM ile güçlendirilmiş bir psikoterapisti taklit etmek için geliştirilen bir sohbet robotu olan ELIZA ile yaptığı alışveriş sonucunda intihar ederek öldü. Bir ay sonra, Ulusal Yeme Bozuklukları Derneği, chatbot Tessa'nın yeme bozukluğu olan hastalara diyet tavsiyeleri vermeye başlamasının ardından, chatbotlarını askıya aldı.

Şu anda UCLA'da yardımcı doçent olarak görev yapan ve makalenin ilk yazarı olan MIT postdoc'u Saadia Gabriel, başlangıçta ruh sağlığı destek chatbotlarının gerçekte ne kadar etkili olabileceği konusunda çok şüpheci olduğunu itiraf etti. Gabriel bu araştırmayı MIT'de doktora sonrası araştırmacı olarak çalıştığı dönemde, MIT Abdul Latif Jameel Sağlıkta Makine Öğrenimi Kliniği ve Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı'na bağlı olan Elektrik Mühendisliği ve Bilgisayar Bilimi Bölümü ve MIT Tıp Mühendisliği ve Bilimi Enstitüsü'nde doçent olan Marzyeh Ghassemi liderliğindeki Sağlıklı Makine Öğrenimi Grubu'nda gerçekleştirdi.

Gabriel ve araştırma ekibi GPT-4 yanıtlarının sadece genel olarak daha empatik olmakla kalmayıp, olumlu davranış değişikliklerini teşvik etmede insan yanıtlarından yüzde 48 daha iyi olduğunu buldu.

Bununla birlikte, önyargı değerlendirmesinde, araştırmacılar GPT-4'ün yanıt empati seviyelerinin beyaz posterler veya ırkı bilinmeyen posterlere kıyasla Siyah (yüzde 2 ila 15 daha düşük) ve Asyalı posterler (yüzde 5 ila 17 daha düşük) için daha düşük olduğunu buldular. 

GPT-4 yanıtlarındaki ve insan yanıtlarındaki önyargıyı değerlendirmek için araştırmacılar, açık demografik (ör. cinsiyet, ırk) sızıntılar ve örtük demografik sızıntılar içeren farklı türde gönderileri dahil etmişlerdir. 

Açık bir demografik sızıntı şu şekilde olabilir: “32 yaşında siyahi bir kadınım.”

Örtülü bir demografik sızıntı ise şuna benzer: GPT-4'e belirli demografik özellikleri belirtmek için anahtar kelimelerin kullanıldığı “Doğal saçlarımı giyen 32 yaşında bir kız olmak”.

Siyahi kadın posterler haricinde, GPT-4'ün yanıtlarının açık ve örtük demografik sızıntılardan, örtük demografik öneriler içeren gönderilere yanıt verirken daha empatik davranma eğiliminde olan insan yanıtlayıcılara kıyasla daha az etkilendiği görülmüştür.

Gabriel, “[LLM'ye] verdiğiniz girdinin yapısı ve [LLM'nin] bir klinisyen tarzında mı, bir sosyal medya gönderisi tarzında mı hareket etmesini istediğiniz ya da hastanın demografik özelliklerini kullanmasını isteyip istemediğiniz gibi bağlam hakkında bazı bilgiler, geri alacağınız yanıt üzerinde büyük bir etkiye sahiptir” diyor.

Araştırmacıların farklı demografik gruplar arasında empatide önemli bir fark gözlemlemediği tek yöntem bu olduğundan, makale, LLM'lere demografik özellikleri kullanmaları için açıkça talimat vermenin önyargıyı etkili bir şekilde hafifletebileceğini öne sürüyor.

Gabriel bu çalışmanın, klinik ortamlarda kullanılan LLM'lerin demografik alt gruplar arasında daha kapsamlı ve özenli bir şekilde değerlendirilmesini sağlamaya yardımcı olabileceğini umuyor.

Ghassemi, “LLM'ler halihazırda hastaya yönelik destek sağlamak için kullanılıyor ve çoğu durumda verimsiz insan sistemlerini otomatikleştirmek için tıbbi ortamlarda konuşlandırıldı” diyor. “Burada, son teknoloji ürünü LLM'lerin, eşler arası ruh sağlığı desteğinde demografik sızıntılardan genellikle insanlardan daha az etkilenmesine rağmen, çıkarılan hasta alt grupları arasında eşitlikçi ruh sağlığı yanıtları sağlamadıklarını gösterdik ... modelleri iyileştirmek için çok fırsatımız var, böylece kullanıldıklarında daha iyi destek sağlıyorlar.”