ChatGPT obtient la moyenne aux examens de médecine

ChatGPT n’a ni cerveau ni projet professionnel ni vocation à évoluer dans le monde du soin. Mais cette intelligence artificielle semble suffisamment informée pour obtenir la moyenne aux examens destinés aux étudiants en médecine, aux Etats-Unis.

© CHUAN CHUAN/shutterstock.com

ChatGPT : depuis novembre 2022, cette intelligence artificielle recrachant des lignes et des lignes d’information plus vite que le cerveau humain fait énormément parler d’elle. De nombreuses interviews écrites ou radio ont par exemple permis de tester le pouvoir de collecte et de restitution des données de cette machine. A noter que son fonctionnement basé sur la probabilité qu’un mot en entraîne un autre, peut être aussi juste dans certains cas que totalement éloignée de la véracité des faits dans d’autres.

Et la médecine n’a pas échappé à cette innovation : ChatGPT serait-elle capable de réussir aux examens de médecine ? Pour nous éclairer sur ce point, des chercheurs américains ont soumis l’IA à un échantillon de questions à choix multiples présentées aux étudiants durant l’examen* : 350 questions sur les 376 adressées aux étudiants en juin 2022 pour être précis. Ainsi que des comptes-rendus de diagnostics médicaux rédigés à partir d’exemples de symptômes cliniques ont été livrés à la machine.

ChatGPT obtient la moyenne

Résultat, « le taux de réussite est compris entre 52,4 et 75%, soit 63,7% de moyenne sachant qu’un score de 60% permet de valider les examens », concluent les Drs Victor Tseng et Tiffany Kung, principaux auteurs de l’étude. « Les réponses sont cohérentes, ont du sens et apportent même dans la majorité des éclairages. »

Selon le Dr Tseng, Chat GPT pourrait constituer une aide à la préparation aux épreuves. Et contribuer à la rédaction des questions prévues pour le concours. Une avancée telle selon ce dernier que « les cliniciens avec qui nous avons travaillé sur le projet utilisent déjà ChatGPT pour réécrire des rapports au jargon complexe afin de faciliter la compréhension des patients ».

Plusieurs questions se posent alors : les compétences médicales humaines et les capacités de restitution d’une machine alimentée de données téléchargées datant d’avant 2021 se complètent-elles ? A quel point l’expertise des médecins peut-elle être décuplée par la machine ? Quels risques si les examens peuvent, demain, être validés par une machine ? Quelle place à l’avenir pour le travail de réflexion et de mémorisation au cœur du processus d’apprentissage des études de médecine ?

Comme toutes les innovations, notamment en santé, tout est question d’usage, de cadre et de limite. A ce jour, « l’échantillon reste de petite taille » pour généraliser quelque pratique que ce soit, comme le soulignent les chercheurs.

*United States Medical Licensing Examination (USMLE)

• 

  Source : PLOS Digital Health, le 9 février 2023

• 

  Ecrit par : Laura Bourgault - Édité par : Emmanuel Ducreuzet