Die Beweiskraft hinter einer Aussage einordnen: von der Anekdote zum kontrollierten Vergleich

Worum es geht

Die evidenzbasierte Medizin hat die Idee formalisiert, dass nicht jede Evidenz dasselbe Gewicht verdient. Die Oxford-CEBM-Stufen, erstmals 1998 erstellt und seither überarbeitet (die Seite verlinkt die Tabellen von 2009 und 2011), ordnen Quellen nach Fragetyp. Für den Behandlungsnutzen reicht die Tabelle von 2011 von systematischen Übersichtsarbeiten randomisierter Studien über einzelne randomisierte Studien, nicht-randomisierte Kohortenstudien und Fallserien bis hinunter zu mechanismusbasierter Argumentation; die Tabelle von 2009 stellte Expertenmeinung ohne explizite kritische Bewertung ganz unten. Die CEBM-Seite selbst weist darauf hin, dass Evidenzhierarchien unflexibel angewendet und kritisiert worden sind, und bittet darum, die Tabelle zusammen mit ihrem einführenden Dokument zu lesen. Zwei weitere Konzepte ergänzen sie. Verzerrungsrisiko: Das RoB-2-Werkzeug des Cochrane Handbook stellt Signalfragen in fünf Bereichen (Randomisierungsprozess, Abweichungen von der beabsichtigten Intervention, fehlende Ergebnisdaten, Ergebnismessung, Auswahl des berichteten Ergebnisses); ein Ergebnis gilt nur dann als risikoarm, wenn es das in jedem Bereich ist, und als risikoreich, wenn es das in irgendeinem Bereich ist oder wenn Bedenken in mehreren Bereichen zusammen das Vertrauen mindern. Interessenkonflikte: Die ICMJE-Empfehlungen machen Autorinnen und Autoren dafür verantwortlich, alle Beziehungen und Tätigkeiten offenzulegen, die ihre Arbeit verzerren könnten oder als verzerrend wahrgenommen werden könnten.

Warum es wichtig ist

Technisches Schreiben vermischt Evidenz unterschiedlicher Stärke: einen Hersteller-Benchmark, den Blogbeitrag eines einzelnen Teams, eine selbst ausgewählte Umfrage, einen kontrollierten Vergleich. Sie mit gleicher Sicherheit darzustellen führt Lesende und die den Text weiterverwendenden Agenten in die Irre. Eine Note neben jeder Aussage verschiebt die Argumentation von „ist es wahr“ zu „was würde die Note verbessern“.

So wird es angewendet

• Zuerst das Design klassifizieren: Meinung oder einzelne Anekdote; mehrere Fälle ohne Vergleich; Vergleich mit einer nicht randomisierten Kontrolle; randomisierter Vergleich; mehrere unabhängige, systematisch zusammengefasste Vergleiche.
• Dann herabstufen: kleine Stichprobe (weites Intervall), Ergebnis gemessen von denen, die die Intervention gewählt haben, fehlende Daten, Ergebnis erst nach Sichtung der Resultate ausgewählt, eigenes Interesse der Autorenschaft am Ergebnis. Ein randomisierter Vergleich mit selektiv berichtetem Ergebnis kann unterhalb einer sorgfältigen Beobachtungsstudie liegen.
• Prüfen, ob Population und Umfeld dem entsprechen, worauf die Aussage angewendet wird; ein Ergebnis über grosse Organisationen lässt sich möglicherweise nicht auf ein Dreier-Team übertragen.
• Die Note in einfachen Worten neben die Aussage schreiben: „Bericht eines einzelnen Teams“, „Herstellermessung, Methode nicht veröffentlicht“, „replizierter kontrollierter Vergleich“.
• Die Primärquelle bevorzugen; eine sekundäre Zusammenfassung erbt bestenfalls die Note der Primärquelle und fügt ein Übertragungsrisiko hinzu.

Stolpersteine

Die Hierarchie unabhängig vom Fragetyp als starre Leiter behandeln: Für Mechanismen oder seltene Schäden können Beobachtungsdaten und Fallberichte die beste verfügbare Evidenz sein. Zitate als Evidenz zählen. „Peer reviewed“ mit „hohe Note“ verwechseln. Evidenz niedriger Note verwerfen statt sie zu kennzeichnen: Eine Anekdote ist ein guter Grund für eine bessere Studie.