Jalousie JAMAesque et ChatGPTesque

Parfois nous lisons des articles et nous ne comprenons pas pourquoi ils sont passés. Dans ces cas, je me dis que ne suis qu’un jaloux, envieux; je devrais travailler plus et procrastiner moins. Cet article est particulièrement bien publié pour ce qu’il apporte et le niveau de boulot. Il s’agit d’une manière pour le journal d’augmenter son audience sans se casser la tête. La preuve que ça marche, j’ai lu le papier et j’en parle. La question des auteurs est de savoir si ChatGPT donne des conseils appropriés en terme de santé cardiovasculaire. La méthodologie est simple, 25 questions posées 3 fois à l’IA et trois relecteurs juges le caractère approprié ou non des réponses. Un design simple qui n’a pas coûté très cher et pris trop de temps.

Comme vous pouvez le constater l’IA est plutôt efficace pour répondre à ces questions puisque sur 25 questions, elle donne une réponse jugée satisfaisante dans 21 cas. ChatGPT sur des questions de prévention cardiovasculaire est efficace. On peut discuter de l’intérêt de ces questions, mais le sujet n’est pas là. J’aimerai savoir si la machine fait mieux ou moins bien que différents fournisseurs de soins humains, médecin spécialiste ou de soins primaires, IPA, infirmière, etc. Après, il n’est pas étonnant que la machine sorte des données très consensuelles.

L’idée était bonne mais faire un JAMA, je m’interroge. La méthodologie est simple mais pas d’une grande robustesse. J’aurai apprécié que les réponses de la machine et celles des relecteurs soient données en supplementary data, d’autant plus que les auteurs ne mettent pas à disposition les données. Nous ne savons pas si les réponses sont si appropriées que ça. Il s’agit de l’avis d’expert avec toutes les limites imaginables. Est ce que leur avis repose vraiment sur les données de la science? Nous n’en savons rien. A l’heure d’internet, il ne coûte pas cher de mettre un fichier en ligne.

Un article franchement décevant aussi bien dans la forme que le fond. Il permettra juste à des investisseurs d’aller vendre le modèle IA pour remplacer les médecins. Le plus intéressant est dans les déclarations d’intérêt ou ce qui n’y est pas comme le fait que de nombreux auteurs du papier font du machine learning (biais intellectuel en faveur de la machine) et un des auteurs possèdent des liens d’intérêts avec deux sociétés qui font de la santé connectée. Sans être complotiste, les résultats m’étonnent encore moins et renforce mon envie de voir les données avant de conseiller à mes patients d’aller questionner ChatGPT pour des questions médicales.

Note écrite avec l’aide d’émile Londonien, un super groupe français dont je conseille l’écoute fortement.

Ce contenu a été publié dans Medecine, avec comme mot(s)-clé(s) , , , . Vous pouvez le mettre en favoris avec ce permalien.

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.