Santé : ne faites pas confiance à ChatGPT pour obtenir le bon diagnostic !

Nous sommes de plus en plus nombreux à consulter une intelligence artificielle pour obtenir des informations sur notre santé. Pourtant, selon une récente étude, l’IA donne, dans la majorité des cas, un diagnostic erroné et se trompe sur la meilleure conduite à tenir.

© Iryna Imago/Shutterstock.com

Temps d’attente allongé, pénurie de professionnels de santé… de nombreuses personnes se tournent désormais vers l’IA pour obtenir un premier diagnostic. Douleurs localisées, plaques rouges sur l’abdomen, boutons, nous sommes nombreux à renseigner nos symptômes dans ChatGPT ou tout autre agent conversationnel d’intelligence artificielle en espérant apprendre, assis dans notre salon, de quoi nous souffrons.

Nous aurions pourtant tort de leur faire confiance selon une récente étude. « Malgré ce battage médiatique, l’IA n’est tout simplement pas prête à remplacer le médecin », résume dans un communiqué de l’université d’Oxford, la chercheuse Rebecca Payne, co-autrice de cette étude sur le recours à l’IA comme assistant médical.

Rester à la maison ou appeler tout de suite une ambulance ?

L’étude, publiée le 9 février, dans la revue Nature Medicine, consistait à savoir si les agents conversationnels d’IA utilisés par le grand public étaient vraiment capables de l’aider à poser un diagnostic. Une dizaine de scénarios, élaborés par des médecins, ont été proposés aux quelque 1 300 participants britanniques. Exemples : un jeune homme souffrait d’un violent mal de tête après une soirée entre amis, une jeune mère se sentait constamment essoufflée et épuisée, un autre patient présentait les symptômes de calculs biliaires.

Les participants ont été dispatchés en deux groupes, l’un d’eux utilisait une IA – GPT-4o d’OpenAI, Llama 3 de Meta ou Command R+ – , pour identifier leur problème de santé et la conduite à tenir. L’autre groupe avait lui recours à des sources d’information plus traditionnelles, notamment les moteurs de recherche.

Les chercheurs ont ensuite évalué si les volontaires avaient correctement identifié le problème et s’ils savaient ce qu’ils devaient faire. Il leur était demandé de sélectionner une conduite à tenir parmi cinq propositions allant de rester à domicile à appeler une ambulance.

Les IA plus performantes sans intermédiaire humain

Résultats ? Les participants qui utilisaient une IA ont identifié les pathologies dans moins de 34,5 % des cas et choisi la conduite à tenir appropriée dans moins de 44,2 % des cas, un résultat équivalent à celui du groupe témoin.

Pourtant, ces IA excellent dans les tests standardisés de connaissances médicales. « D’ailleurs, une fois que nous avons mis de côté l’élément humain, en soumettant directement les mêmes scénarios aux chatbots, leurs performances se sont sensiblement améliorées. Sans intermédiaire humain, les modèles ont identifié les affections pertinentes dans la grande majorité des cas et suggéré le plus souvent des modalités de recours aux soins appropriées », souligne Rebecca Payne dans un article publié le 8 avril sur The Conversation.

« Un problème de communication entre l’être humain et la machine »

Alors, qu’est-ce qui ne fonctionne pas ? Les chercheurs ont identifié trois types de difficultés :

• les utilisateurs communiquent des informations parcellaires ou le chatbot interprète mal des détails essentiels. « Une consultation n’a pas pour seul objet d’établir le bon diagnostic : elle consiste à interpréter le récit du patient, à sonder l’incertitude et à prendre des décisions qui sont le résultat d’une négociation »,écrit Rebecca Payne dans The Conversation;
• les IA donnent des réponses très différentes selon de légères variations dans les questions posées ;
• les IA fournissent souvent un mélange d’informations correctes et incorrectes que les utilisateurs avaient du mal à distinguer.

« Il arrivait fréquemment que les chatbots mentionnent la bonne hypothèse diagnostique au fil de la conversation, sans que les participants ne la retiennent ou ne la restituent dans leur réponse finale, mentionne Rebecca Payne. Dans d’autres cas, les utilisateurs transmettaient des informations parcellaires, ou bien le chatbot interprétait mal des détails essentiels. L’échec ne relevait donc pas d’un simple manque de connaissances médicales. Il tenait à un problème de communication entre l’être humain et la machine. »

Informations inexactes, incohérentes, diagnostics erronés, cette étude révèle que recourir à ChatPGT pour sa santé ou celle d’un proche présente des risques. « Les chatbots actuels doivent être davantage considérés comme des assistants que comme des médecins. Ils excellent dans l’organisation de l’information, la synthèse de textes et la structuration de documents complexes. Des tâches qui sont précisément celles pour lesquelles les modèles de langage s’avèrent déjà utiles au sein des systèmes de santé, qu’il s’agisse de rédiger des comptes rendus cliniques, de synthétiser des dossiers médicaux ou de générer des lettres d’adressage, par exemple », résume la chercheuse.

• 

  Source : European medical Journal, université d’Oxford, The Conversation, Nature Medicine

• 

  Ecrit par : Dorothée Duchemin – Edité par Emmanuel Ducreuzet