Wie das Studienergebnis die Beurteilung von Studien beeinflusst

  • r -- Emerson GB, Warme WJ, Wolf FM et al. Testing for the presence of positive-outcome bias in peer review: a randomized controlled trial. Arch Intern Med 2010 (22. November); 170: 1934-9 [Link]
  • Zusammengefasst von: Anne Witschi
  • infomed screen Jahrgang 15 (2011) , Nummer 2
    Datum der Ausgabe: April 2011

«Positive outcome bias» bezeichnet den systematischen Fehler, der entsteht, wenn Studien mit einem positiven Resultat im Vergleich zu Studien mit einem negativen Resultat grundsätzlich eine grössere Chance haben, publiziert zu werden. Ob dieser schon lange vermutete systematische Fehler wirklich existiert, wollten die Verantwortlichen der vorliegenden Studie in Erfahrung bringen. Beim Selektionsprozess von Publikationen für medizinisch-wissenschaftliche Zeitschriften spielt die Beurteilung einer Studie durch Fachkolleginnen und -kollegen – auf Englisch «peer review» genannt – eine entscheidende Rolle. 210 Fachleute, die für zwei verschiedene renommierte Zeitschriften solche Beurteilungen vornehmen, erhielten deshalb eine von zwei Versionen eines Manuskriptes über eine fiktive Studie. Die beiden Versionen unterschieden sich einzig dadurch, dass die eine ein positives und die andere ein indifferentes Studienresultat präsentierte. Zusätzlich wurden in beide Versionen die fünf gleichen Fehler eingebaut. Als Endpunkte interessierte, wie häufig der Text zur Publikation empfohlen wurde, wie gut die Beschreibung der Methoden auf einem Qualitätsscore abschnitt und wie viele der absichtlich eingebauten Fehler gefunden wurden.

Insgesamt wurde das Manuskript mit dem positiven Studienresultat deutlich häufiger zur Publikation empfohlen als dasjenige mit dem indifferenten Resultat (97% gegenüber 80%). Bei der Studie mit indifferentem Ergebnis wurden zudem mehr der absichtlich platzierten Fehler erkannt und die Qualität der Methodik wurde als schlechter beurteilt. Diese Unterschiede waren je nach Zeitschrift mehr oder weniger ausgeprägt.

Leider bewahrheitet sich – zumindest bei zwei Fachzeitschriften, und bei einer der beiden ganz besonders – was man schon lange vermutet hatte. Studien mit einem negativen oder nicht konklusiven Ergebnis haben eine geringere Chance, veröffentlicht zu werden als Studien mit einem positiven Resultat. Positives Denken und das Positive im Leben zu fördern ist gut, es sollte aber nicht dazu führen, dass wichtige wissenschaftliche Erkenntnisse der Öffentlichkeit vorenthalten werden. Es wäre deshalb nun ganz dringend an der Zeit, auch für die «peer review» Qualitätsstandards einzuführen, respektive den Expertinnen und Experten verbindliche Vorgaben für die Beurteilung von Studien zu machen.

Zusammengefasst von Anne Witschi

Standpunkte und Meinungen
  • Es gibt zu diesem Artikel keine Leserkommentare.
infomed-screen 15 -- No. 2
Copyright © 2021 Infomed-Verlags-AG
Wie das Studienergebnis die Beurteilung von Studien beeinflusst (April 2011)