Jouons à la chasse aux incohérences.

Le BMJ est un excellent journal.

Sa lecture devrait être une figure imposée pour les cliniciens. Encore un bel exemple de sa politique éditoriale exigeante avec cet article sur la fréquence des incohérences (discrepancies) dans les articles scientifiques. Les auteurs de l’Imperial College ont une méthodologie imparable, trois relecteurs en quête d’incohérences et un senior qui fait l’éditeur. Une incohérence est retenue si les quatre sont d’accord sur sa signification. Ils ont tiré au sort 50 articles retirés de la littérature et les 50 articles précédent dans le même journal mais non retirés. Les relecteurs lisent en aveugle sur le statut retiré ou non retiré. Ils ne sont pas spécialistes des champs abordés.

L’hypothèse testée est « Est ce qu’il y a plus d’incohérences dans les articles retirés que non retirés? »

Ils ont classé les incohérences en six groupes:

  1. Les pourcentages possibles (possible percentages): un pourcentage d’un groupe de patients qui ne peut pas coller avec compte d’un sous groupe mais pourrait coller avec celui d’un autre sous groupe. Par exemple, « 23 de 57 (42%) des patients du groupe intervention prennent un IEC ». 23/57 est 40% pas 42% par contre 42% de 57 colle avec 24.
  2. Les pourcentages impossibles (impossible percentages): le pourcentage d’un groupe de patients qui ne peux exister sans un patient fractionnel. Par exemple, « 31,2% de 200 patients on un IDM dans le territoire de la coronaire droite ». Chaque patient représente 0,5% du groupe, il ne doit donc avoir que des pourcentages multiples de 0,5% et 31,2 ne l’est pas.
  3. Les Incohérences factuelles (factual discrepancies): deux déclarations qui ne peuvent pas être vraies toutes les deux. Par exemple, « abstract: l’excès en base est de 1.04 (SD 0.3) dans le groupe balancé au départ; Résultats: l’excès de base est de 1.16(SD 0.3) dans le groupe balancé ». Il y a contradiction.
  4. Les statistiques de base impossibles (impossible summary statistics): la moyenne, la médiane, l’intervalle, la standard deviation ne sont pas possibles en se reposant sur les données présentées. Par exemple, « la durée de séjour en USI dans le groupe non balancé est de 13 jours. La durée de séjours en USI est comprise dans un intervalle de 14 à 444 jours ». La médiane doit être incluse dans l’intervalle…
  5. Les erreurs arithmétiques (arithmetical errors) : l’addition des sous-groupes ne permet pas de retrouver le total du groupe initial ou la différence entre la mesure avant et après ne colle pas avec le changement observé. Par exemple, « 3 sous groupes de taille 5, 5 et 6 patients reçoivent trois doses différentes du traitement. Le nombre total de patients traités est de 15 ». Ce n’est pas possible car 16 est différent de 15.
  6. La p-value manquante (missed P values): deux groupes qui sont significativement différents mais qui sont implicitement déclarés comme non différents (par omission de la valeur de p). Par exemple, « la fraction d’éjection de départ dans les deux groupes  de 29.4 (SD 12.7; n=191) et 36.1 (SD 13.8; n=200) sont décrites comme comparables ». Les données publiées permettent de calculer la p-value et de constater qu’ils sont différents (p<0.001).

Il a été identifié 479 incohérences, 348 dans les 50 articles retirés et 131 dans les 50 non retirés. Il y a un nombre médian de 4 incohérences par article retiré contre 0 dans le groupe non retiré (p<0.001). Seulement 8 articles retirés non aucune incohérence contre 26 des non retirés (OR: 5,7 CI:2.2-14.5).

Les incohérences plus souvent retrouvées dans les articles retirés sont les incohérences factuelles, les erreurs arithmétiques et la p-value manquante.

Je trouve la courbe sensibilité spécificité en fonction du nombre d’incohérence assez jolie. Le nombre de 3 est celui qui à la meilleure sensibilité/spécificité. Seulement 8% des articles non retirés ont plus de 10 incohérences.

Figure3La chasse à l’incohérence n’est pas un exercice facile. 62% sont identifiées uniquement par un relecteur et seulement 14% par les 3. Le temps médian de lecture pour les relecteurs est de 23 minutes, ce qui est assez court.

Les incohérences dans les articles ne peuvent conduire à retirer un article mais il semble évident si on croit cet article qu’une fois identifiées il faut être vigilant sur la véracité des données. Il est très important d’être sceptique en lisant un article et rechercher les incohérences est un exercice sain. Faire quelques calculs de base, vérifier que ce qui est dit entre l’abstract, les résultats et la discussion est cohérent, ça prend un peu de temps mais c’est ludique. Je n’ai fait qu’appliquer cette approche à la notule sur la cour des comptes.

Les auteurs ont proposé un test post lecture, je ne sais pas si il est volontaire ou n’est que la version BMJ de l’histoire de l’arroseur arrosé. J’ai identifié trois incohérences dans l’article. Je vous laisse les chercher un peu avant de vous les soumettre. Peut être y en a-t-il plus…

 

Ce contenu a été publié dans Medecine, Science, avec comme mot(s)-clé(s) , , , . Vous pouvez le mettre en favoris avec ce permalien.

3 réponses à Jouons à la chasse aux incohérences.

  1. Docteurdu16 dit :

    Bonjour,
    Indépendamment de toute volonté supposée de fraude il est tout à fait étonnant de retrouver autant d’incohérences dans des articles qui ont été écrits, réécrits, corrigés, lus et relus et re relus… C’est étonnant. Quant au temps passé pour faire tout cela, il doit être infini…
    C’est désespérant.

    • PUautomne dit :

      Oh un article du seul homme intègre de toute la recherche biomédicale voir de l’ensemble de la science mondiale que dis je universelle. Je vais le lire avec intérêt. J’imagine qu’il nous explique à quel point ce monde est corrompu et patati et patata. Il a de très bons arguments des solutions qui se discutent. Je me suis toujours demandé la raison qui lui a fait revêtir son armure. Comme j’ai une sale mentalité de frenchy. Je crains toujours que ceux soient ceux qui en parlent le plus qui en fassent le moins. Mais bon ses articles sont toujours bien écrits et agréables à lire.
      Bonne journée

Répondre à nfkb (@nfkb) Annuler la réponse.