L’hypoth\u00e8se test\u00e9e est \u00ab\u00a0Est ce qu’il y a plus d’incoh\u00e9rences dans les articles retir\u00e9s que non retir\u00e9s?\u00a0\u00bb<\/p>\n
Ils ont class\u00e9 les incoh\u00e9rences en six groupes:<\/p>\n
- \n
- Les pourcentages possibles<\/strong> (possible percentages): un pourcentage d’un groupe de patients qui ne peut pas coller avec compte d’un sous groupe mais pourrait coller avec celui d’un autre sous groupe. Par exemple<\/a>, \u00ab\u00a023 de 57 (42%) des patients du groupe intervention prennent un IEC\u00a0\u00bb. 23\/57 est 40% pas 42% par contre 42% de 57 colle avec 24.<\/li>\n
- Les pourcentages impossibles<\/strong> (impossible percentages): le pourcentage d’un groupe de patients qui ne peux exister sans un patient fractionnel. Par exemple<\/a>, \u00ab\u00a031,2% de 200 patients on un IDM dans le territoire de la coronaire droite\u00a0\u00bb. Chaque patient repr\u00e9sente 0,5% du groupe, il ne doit donc avoir que des pourcentages multiples de 0,5% et 31,2 ne l’est pas.<\/li>\n
- Les Incoh\u00e9rences factuelles<\/strong> (factual discrepancies): deux d\u00e9clarations qui ne peuvent pas \u00eatre vraies toutes les deux. Par exemple<\/a>, \u00ab\u00a0abstract: l’exc\u00e8s en base est de 1.04 (SD 0.3) dans le groupe balanc\u00e9 au d\u00e9part; R\u00e9sultats: l’exc\u00e8s de base est de 1.16(SD 0.3) dans le groupe balanc\u00e9\u00a0\u00bb. Il y a contradiction.<\/li>\n
- Les statistiques de base impossibles<\/strong> (impossible summary statistics): la moyenne, la m\u00e9diane, l’intervalle, la standard deviation ne sont pas possibles en se reposant sur les donn\u00e9es pr\u00e9sent\u00e9es. Par exemple<\/a>, \u00ab\u00a0la dur\u00e9e de s\u00e9jour en USI dans le groupe non balanc\u00e9 est de 13 jours. La dur\u00e9e de s\u00e9jours en USI est comprise dans un intervalle de 14 \u00e0 444 jours\u00a0\u00bb. La m\u00e9diane doit \u00eatre incluse dans l’intervalle…<\/li>\n
- Les erreurs arithm\u00e9tiques<\/strong> (arithmetical errors) : l’addition des sous-groupes ne permet pas de retrouver le total du groupe initial ou la diff\u00e9rence entre la mesure avant et apr\u00e8s ne colle pas avec le changement observ\u00e9. Par exemple<\/a>, \u00ab\u00a03 sous groupes de taille 5, 5 et 6 patients re\u00e7oivent trois doses diff\u00e9rentes du traitement. Le nombre total de patients trait\u00e9s est de 15\u00a0\u00bb. Ce n’est pas possible car 16 est diff\u00e9rent de 15.<\/li>\n
- La p-value manquante<\/strong> (missed P values): deux groupes qui sont significativement diff\u00e9rents mais qui sont implicitement d\u00e9clar\u00e9s comme non diff\u00e9rents (par omission de la valeur de p). Par exemple<\/a>, \u00ab\u00a0la fraction d\u2019\u00e9jection de d\u00e9part dans les deux groupes\u00a0 de 29.4 (SD 12.7; n=191) et 36.1 (SD 13.8; n=200) sont d\u00e9crites comme comparables\u00a0\u00bb. Les donn\u00e9es publi\u00e9es permettent de calculer la p-value et de constater qu’ils sont diff\u00e9rents (p<0.001).<\/li>\n<\/ol>\n
Il a \u00e9t\u00e9 identifi\u00e9 479 incoh\u00e9rences, 348 dans les 50 articles retir\u00e9s et 131 dans les 50 non retir\u00e9s. Il y a un nombre m\u00e9dian de 4 incoh\u00e9rences par article retir\u00e9 contre 0 dans le groupe non retir\u00e9 (p<0.001). Seulement 8 articles retir\u00e9s non aucune incoh\u00e9rence contre 26 des non retir\u00e9s (OR: 5,7 CI:2.2-14.5).<\/p>\n
Les incoh\u00e9rences plus souvent retrouv\u00e9es dans les articles retir\u00e9s sont les incoh\u00e9rences factuelles, les erreurs arithm\u00e9tiques et la p-value manquante.<\/p>\n
Je trouve la courbe sensibilit\u00e9 sp\u00e9cificit\u00e9 en fonction du nombre d’incoh\u00e9rence assez jolie. Le nombre de 3 est celui qui \u00e0 la meilleure sensibilit\u00e9\/sp\u00e9cificit\u00e9. Seulement 8% des articles non retir\u00e9s ont plus de 10 incoh\u00e9rences.<\/p>\n
\n\n![\"Figure3\"](\"http:\/\/static.www.bmj.com\/content\/bmj\/351\/bmj.h4708\/F3.medium.gif\" "\\"\\"")
<\/a>La chasse \u00e0 l’incoh\u00e9rence n’est pas un exercice facile. 62% sont identifi\u00e9es uniquement par un relecteur et seulement 14% par les 3. Le temps m\u00e9dian de lecture pour les relecteurs est de 23 minutes, ce qui est assez court.<\/p>\n\nLes incoh\u00e9rences dans les articles ne peuvent conduire \u00e0 retirer un article mais il semble \u00e9vident si on croit cet article qu’une fois identifi\u00e9es il faut \u00eatre vigilant sur la v\u00e9racit\u00e9 des donn\u00e9es. Il est tr\u00e8s important d’\u00eatre sceptique en lisant un article et rechercher les incoh\u00e9rences est un exercice sain. Faire quelques calculs de base, v\u00e9rifier que ce qui est dit entre l’abstract, les r\u00e9sultats et la discussion est coh\u00e9rent, \u00e7a prend un peu de temps mais c’est ludique. Je n’ai fait qu’appliquer cette approche \u00e0 la notule sur la cour des comptes.<\/p>\n
Les auteurs ont propos\u00e9 un test post lecture, je ne sais pas si il est volontaire ou n’est que la version BMJ de l’histoire de l’arroseur arros\u00e9. J’ai identifi\u00e9 trois incoh\u00e9rences dans l’article. Je vous laisse les chercher un peu avant de vous les soumettre. Peut \u00eatre y en a-t-il plus…<\/p>\n<\/div>\n<\/div>\n<\/div>\n
\n\n
\n <\/td>\n <\/td>\n <\/td>\n <\/td>\n<\/tr>\n \n <\/td>\n <\/td>\n <\/td>\n <\/td>\n<\/tr>\n \n <\/td>\n <\/td>\n <\/td>\n <\/td>\n<\/tr>\n \n <\/td>\n <\/td>\n <\/td>\n <\/td>\n<\/tr>\n \n <\/td>\n <\/td>\n <\/td>\n <\/td>\n<\/tr>\n \n <\/td>\n <\/td>\n <\/td>\n <\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n <\/p>\n","protected":false},"excerpt":{"rendered":"
Le BMJ est un excellent journal. Sa lecture devrait \u00eatre une figure impos\u00e9e pour les cliniciens. Encore un bel exemple de sa politique \u00e9ditoriale exigeante avec cet article sur la fr\u00e9quence des incoh\u00e9rences (discrepancies) dans les articles scientifiques. Les auteurs … Continuer la lecture
- Les pourcentages impossibles<\/strong> (impossible percentages): le pourcentage d’un groupe de patients qui ne peux exister sans un patient fractionnel. Par exemple<\/a>, \u00ab\u00a031,2% de 200 patients on un IDM dans le territoire de la coronaire droite\u00a0\u00bb. Chaque patient repr\u00e9sente 0,5% du groupe, il ne doit donc avoir que des pourcentages multiples de 0,5% et 31,2 ne l’est pas.<\/li>\n