Chercher le faux pour trouver le vrai

J’ai pris pas mal de retard dans ma veille bibliographique, j’en suis réduit à lire le JAMA de mercredi dernier, aujourd’hui. J’y ai découvert un point de vue très intéressant.

  1. Prasad V, Jena AB. « Prespecified falsification end points: Can they validate true observational associations? » JAMA 309, no 3 (janvier 16, 2013): 241‑242. doi:10.1001/jama.2012.96867.

Les études observationnelles sont indispensables pour identifier des associations difficilement accessibles à l’essai randomisé en double aveugle. En pharmacovigilance, elles sont utiles pour identifier les événements secondaires rares définis par une fréquence inférieur à 1/1000. L’énorme problème, que tout le monde connait, est l’impossibilité de définir un lien de causalité avec une étude observationnelle, on décrit une association. Si l’association peut être expliquée par un raisonnement scientifique étayé par les données actuelles de la science, nous avons tendance à la retenir et parfois y voir un lien de causalité. J’insiste, une étude observationnelle ne permettra de mettre en évidence qu’une association. Quand la suspicion est forte et que le risque dépasse le service rendu, il est légitime par principe de précaution d’arrêter l’utilisation de la molécule ou au moins de la limiter.

Nous entrons dans l’ère du Big Data en médecine. Grâce à l’informatisation des les flux informationnels et le développement des outils logiciels, il devient de plus en plus facile de tester des associations dans des volumes de patients importants. Le risque de ce jeu est bien connu. Plus on multiplie le nombre de tests statistiques plus la chance de trouver une fausse association significative est importante. Avec un p à 0,05, ce sera une association testée sur 21 qui sera positive, simplement du fait du hasard. Pour aller plus loin, je vous conseille l’explication par l’ami jean marie éclairer par XKCD et ses dragibus. Quand vous faites ce genre d’analyse vous devriez vous limiter à tester des associations  pré spécifiées ayant un sens biologique. C’est la théorie, en pratique on met tout dans la machine et on mouline jusqu’à trouver quelques choses de publiables avec un rationnel (bad statistics). Trouver un rationnel à une association même improbable n’est pas très difficile avec un peu d’imagination et Pubmed.

Même si vous évitez la torture de données, même si vous faites des corrections pour les hypothèses multiples, vous n’êtes pas à l’abri d’identifier un effet secondaire rare qui n’existe pas. Ceci a des implications importantes pour l’industriel mais aussi pour les patients.

Les auteurs de ce point de vue propose une démarche originale, l’utilisation de critères d’évaluation faux pré spécifiés. L’idée est de déterminer des critères d’évaluations qui sont faux de façon évidente, par exemple est ce que la consommation de paracétamol est associée à l’apparition d’une douleur du petit orteil droit (c’est un mauvaise exemple car peu fréquent, il vaut mieux prendre des douleurs articulaires en général). Il en faut quatre ou cinq, pas plus et les tester avec les mêmes méthodes statistiques que les hypothèses que nous imaginons avoir du sens. L’idéal est d’avoir en plus un effet secondaire connu explorable dans la cohorte, par exemple pour un antiaggrégant l’augmentation du risque de saignement digestif. Si vos faux critères d’évaluation ne sont pas associés à la prise  médicamenteuse, si l’effet secondaire connu est bien présent dans le groupe des exposés, votre effet inattendu associé à la prise du produit a de bonnes chances d’être vrai. Il n’y a pas de lien de causalité mais vous renforcez la validité de l’association.

Les auteurs citent comme exemple un de leur travail sur l’association IPP- pneumonie, pour montrer que malgré un rationnel scientifique cohérent, elle est probablement fausse du à des facteurs confondants. Il avait pris comme faux critères d’évaluation, les douleurs thoraciques qui était associées à la prise d’IPP comme les infections urinaires et les douleurs articulaires. L’association existe mais elle n’a probablement aucun lien de causalité. Les IPP n’augmentent probablement pas le risque de faire une pneumopathie.

  1. Jena, Anupam B, Eric Sun, et Dana P Goldman. « Confounding in the Association of Proton Pump Inhibitor Use With Risk of Community-Acquired Pneumonia ». Journal of general internal medicine (septembre 7, 2012). doi:10.1007/s11606-012-2211-5

Je trouve l’approche très intéressante, elle ne résout pas tous les problèmes, mais bien utilisée, avec mesure, elle doit améliorer la qualité des résultats. Elle devrait  être utilisé de façon systématique dans toutes les études d’associations accompagnant la production massive de données promise par les data scientists. Nous verrons si cette approche originale sera utilisée.

Il faut faire très attention avec les associations avant de conclure, même si elles font de très bon tweets, messages simples et percutants: « la viande rouge tue », « manger du riz augmente le risque de diabète », etc. Je cède souvent à cette facilité, je le confesse. Il n’y a pas que moi car elles fournissent l’essentiel des brèves santé de presse permettant d’augmenter facilement le passage sur des sites d’information en ligne.

Si vous voulez aller plus loin sur le sujet, je vous conseille l’excellent « Between the Lines » de Marya Zilberberg et son blog, sans oublier la boite à outils de Healthnewsreview.

Ce contenu a été publié dans Medecine, Science, avec comme mot(s)-clé(s) , , , . Vous pouvez le mettre en favoris avec ce permalien.

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.