Évaluer la qualité de la preuve derrière une affirmation : de l'anecdote à la comparaison contrôlée

Ce que c'est

La médecine fondée sur les preuves a formalisé l'idée que toutes les preuves ne méritent pas le même poids. Les niveaux du CEBM d'Oxford, produits pour la première fois en 1998 et révisés depuis (la page renvoie aux tableaux de 2009 et de 2011), classent les sources selon le type de question. Pour le bénéfice d'un traitement, le tableau de 2011 va des revues systématiques d'essais randomisés, en passant par les essais randomisés individuels, les études de cohorte non randomisées et les séries de cas, jusqu'au raisonnement fondé sur le mécanisme ; le tableau de 2009 plaçait l'opinion d'expert sans évaluation critique explicite tout en bas. La page du CEBM elle-même note que les hiérarchies de preuves ont été utilisées de façon rigide et critiquées, et demande que le tableau soit lu avec son document introductif. Deux idées supplémentaires le complètent. Le risque de biais : l'outil RoB 2 du Cochrane Handbook pose des questions indicatrices dans cinq domaines (processus de randomisation, écarts par rapport à l'intervention prévue, données de résultat manquantes, mesure du résultat, sélection du résultat rapporté) ; un résultat n'est à faible risque que si tous les domaines le sont, et à risque élevé si un seul domaine l'est ou si des préoccupations dans plusieurs domaines réduisent ensemble la confiance. Les conflits d'intérêts : les recommandations de l'ICMJE rendent les auteurs responsables de la divulgation de toutes les relations et activités susceptibles de biaiser leur travail, ou d'être perçues comme telles.

Pourquoi c'est important

L'écriture technique mélange des preuves de force différente : un benchmark d'éditeur, le billet de blog d'une équipe, une enquête auto-sélectionnée, une comparaison contrôlée. Les présenter avec la même assurance induit en erreur les lecteurs et les agents qui réutilisent le texte. Une note à côté de chaque affirmation déplace le débat de « est-ce vrai » vers « qu'est-ce qui ferait monter la note ».

Comment l'appliquer

• Classer d'abord le type d'étude : opinion ou anecdote isolée ; plusieurs cas sans comparaison ; comparaison avec un témoin non randomisé ; comparaison randomisée ; plusieurs comparaisons indépendantes résumées de façon systématique.
• Puis revoir à la baisse : petit échantillon (intervalle large), résultat mesuré par les personnes qui ont choisi l'intervention, données manquantes, résultat choisi après avoir vu les résultats, intérêt de l'auteur dans le résultat. Une comparaison randomisée dont le résultat rapporté est sélectif peut se classer en dessous d'une étude observationnelle rigoureuse.
• Vérifier si la population et le contexte ressemblent à ceux auxquels l'affirmation est appliquée ; un résultat portant sur de grandes organisations peut ne pas se transposer à une équipe de trois personnes.
• Écrire la note à côté de l'affirmation en termes simples : « rapport d'une seule équipe », « mesure d'éditeur, méthode non publiée », « comparaison contrôlée répliquée ».
• Préférer la source primaire ; un résumé secondaire hérite au mieux de la note de la source primaire et ajoute un risque de transcription.

Pièges

Traiter la hiérarchie comme une échelle sans tenir compte du type de question : pour les mécanismes ou les préjudices rares, les données observationnelles et les rapports de cas peuvent être ce qu'il y a de mieux disponible. Compter les citations comme des preuves. Confondre « évalué par les pairs » avec « de haut niveau ». Écarter une preuve de faible niveau au lieu de la qualifier comme telle : une anecdote est une bonne raison de mener une meilleure étude.