YAPAY ZEKA SOHBET ROBOTUNUN HASTALARIN İNTERNETTE ARADIĞI SORULARA VERDİĞİ YANITLARIN UYGUNLUĞUNUN VE OKUNABİLİRLİĞİNİN ANALİZİ


Erdat E. C., Köksoy E. B., Utkan G.

12. Ege Hematoloji Onkoloji Kongresi, İzmir, Türkiye, 14 - 16 Mart 2024, ss.78

  • Yayın Türü: Bildiri / Özet Bildiri
  • Basıldığı Şehir: İzmir
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.78
  • Ankara Üniversitesi Adresli: Evet

Özet

Amaç: Yapay zeka konusundaki ilerlemeler, sohbet robotlarının geliştirilmesini sağladı ve daha fazla insan, sorularına yanıt aramak için bunları kullanmaya başladı. Verilen yanıtların uygunluğunu değerlendiren bir çok çalışma bulunmakla beraber yanıtların kalitesinin dünyadaki en zor sınavlardan bazıları olarak değerlendirilen ABD baro sınavları, USMLE gibi sınavlarda bile geçer puan alabilecek durumda olduğu gösterildi. Kanser hastalarının çeşitli nedenlerle internette yanıt aradığına dair literatürde bir çok çalışma bulunmaktadır ve bu çalışmalar internetteki kaynakların yetersiz veya kalitesiz olduğunu öne sürmektedir. Bu nedenle, kanser hastaları tarafından sorulan sorulara geniş dil modeli yapay zeka sohbet robotlarının verdiği yanıtların, uygunluğunu ve okunabilirliğini araştırmak için bu çalışma gerçekleştirildi.

Yöntem: Ankara Üniversitesi Tıbbi Onkoloji polikliniğine başvuran kolorektal kanser, meme kanseri, akciğer kanseri ve prostat kanseri hastalarına internette en sık sordukları soruları araştıran bir anket uyguladıktan verilen yanıtlara göre, en yaygın dört kanser türü ve genel kanser bilgisi hakkında en çok sorulan 57 soruyu seçildi. Bu soruları ChatGPT'ye (OpenAI'den bir yapay zeka sohbet robotu) soruldu, verilen yanıtları okunabilirlik ve uygunluk açısından incelendi, literatürde daha önce belirlenmiş okunabilirlik dereceleri ile karşılaştırıldı.

Bulgu: Kolorektal kanser için 11 soru, meme kanseri için 11 soru, akciğer kanseri için 11 soru, prostat kanseri için 13 soru ve genel kanser için 11 soru olmak üzere toplam 57 soru ileri analiz için seçildi. Tüm sorular sınıf temelli okunabilirlik puanlarının ortalama puanı 13,21 (SD ± 2,49) idi; bu, üniversite düzeyindeki okunabilirlik ile uyumluydu ve uluslararası önerilerde belirtilen6. sınıf seviyesi eğitim düzeyinden önemli ölçüde daha yüksekti (p < 0,01). Seçilen 57 sorudan hepsinin yanıtları uygun nitelikte olarak değerlendirildi. Sorulara verilen yanıtların kalitesi ortalama 3,91 (SD ± 0,69) olarak görüldü ve yüksek kalitede olarak yorumlandı. Sorulara verilen yanıtların soruların sorulma şekli ve istenen detaylar ile ilgili olduğu gözlemlendi.

Sonuç: Yapay zeka sohbet robotlarının kanser hastalarının sorularına verdiği yanıtların kalitesi iyi olmakla beraber okunabilirliği belirtilen düzeyin çok üzerinde olduğu görüldü. Bu nedenle yapay zeka sohbet robotunun kanser hastalarının sorularının yanıtlanmasında dikkatli kullanılması önerildi.