Μελέτη του Πανεπιστημίου της Καλιφόρνια εξέτασε την ικανότητα ενσυναίσθητης απάντησης των ιατρών και του ChatGPT εξετάζοντας ποιο από τα δύο είχε καλύτερες επιδόσεις σε 195 ιατρικές ερωτήσεις.
Οι ερευνητές πήραν ερωτήσεις που είχαν αναρτηθεί σε ένα δημόσιο subreddit με την ονομασία «AskDocs». Για παράδειγμα, ένα άτομο ρώτησε πόσο επικίνδυνο είναι να καταπιεί κανείς μια οδοντογλυφίδα. Ένας άλλος ρώτησε αν θα πάθει διάσειση αφού χτυπήσει το κεφάλι του σε μια μεταλλική μπάρα.
Ένας επαγγελματίας υγείας του οποίου τα διαπιστευτήρια επαληθεύτηκαν από έναν συντονιστή απάντησε στις ερωτήσεις στο subreddit.
Οι ερευνητές έτρεξαν επίσης τις ερωτήσεις μέσω του ChatGPT για να δημιουργήσουν μια απάντηση.
Μια ομάδα ιατρών ρωτήθηκε ποια απάντηση ήταν καλύτερη, του chatbot ή του ιατρού, αλλά η ομάδα δεν γνώριζε ποιανού οι απαντήσεις ήταν τίνος.
Κάθε περίπτωση εξετάστηκε από τρεις διαφορετικούς κριτές και η βαθμολογία υπολογίστηκε κατά μέσο όρο, με αποτέλεσμα να προκύψουν συνολικά 585 αξιολογήσεις.
Στο 79% των περιπτώσεων, οι κριτές προτίμησαν τις απαντήσεις του chatbot, οι οποίες είχαν υψηλότερη ποιότητα πληροφοριών από τις απαντήσεις των ιατρών.
Σε σύγκριση με τις απαντήσεις των ιατρών, περίπου 4 φορές περισσότερες απαντήσεις chatbot πέτυχαν τα υψηλότερα κλιμάκια ποιότητας και περίπου 10 φορές περισσότερες πέτυχαν τις υψηλότερες βαθμολογίες ενσυναίσθησης.
Οι απαντήσεις των chatbot ήταν επίσης περίπου 4 φορές μεγαλύτερες από αυτές που έδιναν οι γιατροί, με μέσο όρο 211 λέξεις ανά ανάρτηση σε σύγκριση με τις 52 λέξεις του γιατρού.
Και ενώ το ChatGPT θα παρέχει μια ευγενική, ευανάγνωστη απάντηση που φαίνεται συνεπής με την πρώτη ματιά, κάνει βασικά λάθη στην κωδικοποίηση και τα μαθηματικά και πολλά γεγονότα που περιλαμβάνονται στις απαντήσεις του είναι επινοημένα ή λανθασμένα.
«Η παρούσα μελέτη θα πρέπει να παρακινήσει την έρευνα σχετικά με την υιοθέτηση βοηθών ΤΝ για την αποστολή μηνυμάτων», γράφουν οι ερευνητές. «Αν περισσότερες ερωτήσεις ασθενών απαντηθούν γρήγορα, με ενσυναίσθηση και σε υψηλό επίπεδο, αυτό μπορεί να μειώσει τις περιττές κλινικές επισκέψεις, απελευθερώνοντας πόρους για εκείνους που τους χρειάζονται».
Δεδομένης της τάσης των chatbots να «παραισθήσεις» και να επινοούν γεγονότα, «θα ήταν επικίνδυνο να βασιστεί κανείς σε οποιαδήποτε πραγματική πληροφορία που δίνεται από μια τέτοια απάντηση chatbot», λέει ο Anthony Cohn, καθηγητής αυτοματοποιημένης συλλογιστικής στο Πανεπιστήμιο του Leeds στο Ηνωμένο Βασίλειο. «Είναι σημαντικό οι όποιες απαντήσεις να ελέγχονται προσεκτικά από έναν επαγγελματία ιατρό».
