In wissenschaftlichen Studien fehlen Endpunktdaten bei 6-24% der Teilnehmenden. Damit nicht der ganze Datensatz entwertet wird, wird nach einer bestimmten Vorgabe ein Platzhalter für den fehlenden Wert eingesetzt. Eine von drei in führenden Zeitschriften publizierten randomisierten Studien verliert die statistische Signifikanz, wenn durchaus plausible Annahmen bei Teilnehmenden mit fehlenden Daten getroffen werden. Bei etwa 10% der Teilnehmenden in klinischen Studien ist der Follow-up-Status unklar, und bei etwa der Hälfte der Primärstudien fehlen Angaben, wie man mit fehlenden Daten umgegangen ist. Dies wirkt sich selbstverständlich auch auf die Zusammenfassung von Primärstudien aus, die systematische Übersicht.

Aus allen im Jahr 2012 publizierten systematischen Übersichten, die eine Meta-Analyse mit einer statistisch signifikanten Wirkung auf einen dichotomen Endpunkt enthielten, wurde eine Zufallsprobe von je 50 Cochrane-Reviews und 50 anderen systematischen Übersichten gezogen. Die Daten wurden acht verschiedenen Annahmen zum Outcome der fehlenden Patientendaten ausgesetzt: (a) best case (alle in der Zielgruppe negativ, alle in der Kontrollgruppe positiv), (b) worst case (alle in der Zielgruppe positiv, alle in der Kontrollgruppe negativ), (c) alle positiv, (d) alle negativ. Dann wurde die «informative missingness odds ratio» (IMOR) angewandt; es handelt sich dabei um das Verhältnis, um wie viel häufiger der Endpunkt in der Patientengruppe mit fehlenden Endpunktdaten erreicht worden sein könnte als in der Gruppe mit komplettem Datensatz. Neben der Heterogenitätsanalyse, auf die hier nicht weiter eingegangen wird, wurde die Anzahl Meta-Analysen gezählt, bei denen der Nullpunkt gekreuzt wurde («es kann keine Wirkung festgestellt werden») und bei denen sich die Richtung der Aussage änderte. 

Die 100 systematischen Übersichten schlossen 653 randomisierte Studien ein, 400 (63%) davon berichteten über fehlende Endpunktdaten. In 13% der Meta-Analysen fiel die Aussage nicht mehr signifikant aus, wenn nur die vollständigen Datensätze ausgewertet wurden. Bezogen auf die definitiv fehlenden Daten wurde bei der unwahrscheinlichen «Worst case»-Annahme die Aussage der Meta-Analyse in 65% nicht mehr signifikant, mit den IMOR-Annahmen war dies in 18-32% der Fall. Beim Einschluss auch der potenziell fehlenden Daten führte der «worst case» in 76% der Meta-Analysen zur Aufhebung des signifikanten Effekts, bei der IMOR-Annahme waren dies 24-41%. Eine Richtungsänderung der Aussage wurde bei definitiv fehlenden Daten in 33% (worst case) und in 3-6% (IMOR) berechnet, bei potentiell fehlenden Daten in 43% bzw. 6-14%. Selbstverständlich fiel nicht nur die Signifikanz der Aussage unter diesen Annahmen weg, sondern es wurde auch in fast allen Studien die Effektstärke reduziert.

Die Autorinnen und Autoren schliessen, dass auch wenn nicht unplausible Annahmen zum Effekt einer Intervention getroffen werden, wie es beim IMOR der Fall ist, eine Abschwächung des Effekts und ein Verlust der statistischen Signifikanz in bis zu einem Viertel aller Meta-Analysen möglich scheint. Sie empfehlen den Verantwortlichen, Sensitivitätsanalysen zu den fehlenden Daten durchzuführen und bei der Interpretation Zurückhaltung zu üben.

Zu der Philippika von Ioannidis [1], der aus mathematischen Gründen zur Skepsis rät, und dem Zitat «Metaanalysis is like a bouillabaisse – no matter how fresh seafood you add, one rotten fish makes is stink» von Franz Messerli (1998) kommt nun ein weiterer Baustein, der uns zur Vorsicht bei der Interpretation von wissenschaftlichen Studienresultaten und in diesem Fall systematischen Übersichten mahnt, nämlich der Umgang, den die Autoren mit den fehlenden Endpunktdaten der Studienteilnehmenden pflegten. Auch plausible Annahmen, z.B. dass der Outcome bei Teilnehmenden mit fehlenden Endpunktdaten um einen Drittel (IMOR 1,5) schlechter gewesen sein könnte jener der Gesamtgruppe, führen in bis zu 6% aller Meta-Analysen dazu, dass deren statistische Signifikanz wegfällt, und in fast allen Fällen dazu, dass die Effektstärke abnimmt. Ebenfalls ein Dämpfer für die Glaubwürdigkeit ist die Aussage im Appendix der Publikation: «Wir wollten die Daten der eingeschlossenen Meta-Analysen aufgrund der publizierten Primärstudiendaten reproduzieren und nur jene einschliessen, die wir bestätigen konnten; allerdings wurde dieses Vorgehen aufgegeben, da wir uns meist keine Klarheit darüber verschaffen konnten, welche Daten die Metaanalysten wirklich für ihre Statistiken verwendet hatten».

1) Ioannidis JPA. Why most published research findings are false. PLoS Med. 2005;2(8):e124.

Standpunkte und Meinungen

• Es gibt zu diesem Artikel keine Leserkommentare.