Sie hat sich nicht geirrt, jedenfalls nicht so, wie es aussieht. Beide Zahlen stimmen, sie beantworten nur verschiedene Fragen. Neben diesem Fall betrachten wir drei weitere bekannte Streitfälle: den Kaffee, die Vitaminpillen und die Frage, wie oft berühmte Studien später korrigiert werden. Die These: Wenn sich Studien widersprechen, liegt es selten an schlampiger Arbeit. Meist wurde etwas anderes gemessen, bei anderen Menschen, gegen einen anderen Vergleich, und am Ende steht die Zahl ohne diese Angaben in der Überschrift.
Zwei Studien, ein Präparat, Faktor 3,3
Die erste Untersuchung ist die Nurses’ Health Study. Sie begleitete 59.337 Krankenschwestern, die bei Beginn zwischen 30 und 55 Jahre alt waren, über bis zu 16 Jahre. Ob eine Frau Hormone nahm, erfuhren die Forscher per Fragebogen. Gezählt wurden 770 Herzinfarkte oder koronare Todesfälle. Für die Kombination aus Östrogen und Gestagen ergab sich ein relatives Risiko von 0,39 (Konfidenzintervall 0,19 bis 0,78), für Östrogen allein 0,60.
Die zweite ist die Women’s Health Initiative (WHI). Sie loste 16.608 Frauen zwischen 50 und 79 Jahren per Zufall in zwei Gruppen: 8.506 bekamen ein Kombinationspräparat, 8.102 ein Placebo. Nach im Mittel 5,2 Jahren empfahl das Überwachungsgremium den Abbruch, weil das Brustkrebsrisiko die vorab festgelegte Grenze überschritt und die Gesamtbilanz gegen das Präparat sprach. Für koronare Herzkrankheit lag das Gefahrenverhältnis bei 1,29 (1,02 bis 1,63), basierend auf 286 Fällen.
Rechnet man die beiden Werte gegeneinander, liegt zwischen ihnen der Faktor 3,3 (1,29 geteilt durch 0,39). Relatives Risiko und Gefahrenverhältnis sind nicht identisch gebaut, die Richtung aber ist eindeutig: einmal Schutz, einmal Schaden.
Der Unterschied steckt im Losverfahren
Erstens entschieden in der Nurses’ Health Study die Frauen selbst, ob sie Hormone nahmen. Solche Frauen unterscheiden sich oft in vielem von denen, die es nicht tun, etwa im Zugang zur Vorsorge. Man spricht von Beobachtungsstudien. Sie zeigen Zusammenhänge, aber nicht, ob das Präparat sie verursacht. In der WHI entschied der Zufall. Das macht die Gruppen vergleichbar und ist der Grund, warum randomisierte Studien weiter oben in der Evidenzpyramide stehen. Welcher Anteil der Lücke zwischen 0,39 und 1,29 genau auf diese Selbstauswahl zurückgeht, lässt sich aus den veröffentlichten Ergebnissen nicht ablesen.
Zweitens unterscheiden sich die Frauen im Alter: In der Nurses’ Health Study waren sie bei Beginn 30 bis 55 Jahre alt, in der WHI 50 bis 79. Wie empfindlich die Zahl selbst innerhalb der WHI ist, zeigt eine Auswertung beider WHI-Hormonstudien mit 13 Jahren Gesamtbeobachtung. Sie ergab für das Kombinationspräparat bei koronarer Herzkrankheit nur noch ein Gefahrenverhältnis von 1,18 (0,95 bis 1,45): 196 Fälle unter Hormonen, 159 unter Placebo. Das Intervall schließt die 1 ein, das Ergebnis ist also nicht mehr statistisch auffällig. Aus den Fallzahlen und den Gruppengrößen (8.506 und 8.102) rechne ich 2,30 gegen 1,96 Prozent, ein Abstand von 0,34 Prozentpunkten über im Mittel 5,6 Jahre Einnahme.
Noch deutlicher wird der Alterseffekt bei der Gesamtbilanz. Die WHI-Autoren geben die absoluten Mehrfälle im Gesamtindex je 10.000 Frauen und Jahr an: 12 zusätzliche Fälle bei 50- bis 59-Jährigen, 38 bei 70- bis 79-Jährigen unter dem Kombinationspräparat. In der Östrogen-Studie ohne Gestagen waren es bei den Jüngeren sogar 19 Fälle weniger, bei den Ältesten 51 mehr. Ein und dasselbe Präparat hat also keine einzelne Wirkung, die man mit einer Zahl beschreiben kann. Es hat viele, je nach Alter und Zusammensetzung.
29 Prozent mehr: Wie viel ist das?
Die zweite häufige Quelle scheinbarer Widersprüche ist die Darstellung. Das Glossar des IQWiG erklärt es mit einem Rechenbeispiel: Sterben in einer Kontrollgruppe 30 von 100 Teilnehmern und in der Behandlungsgruppe 20 von 100, beträgt das relative Risiko 0,20 geteilt durch 0,30, also rund 0,67. Der absolute Unterschied sind zehn Personen je Hundert. Beide Angaben sind richtig, beim Lesen wirken sie sehr verschieden.
Für die WHI lässt sich das nachrechnen. Hinter den 29 Prozent mehr koronaren Ereignissen stehen laut Publikation 7 zusätzliche Fälle je 10.000 Personenjahre. Das sind 0,07 Prozent pro Jahr, oder ein zusätzlicher Fall auf rund 1.430 Frauenjahre. Bei Schlaganfall und Lungenembolie waren es je 8 Mehrfälle, bei invasivem Brustkrebs ebenfalls 8. Dem standen 6 weniger Darmkrebsfälle und 5 weniger Hüftfrakturen gegenüber. Für alle Gesamtindex-Ereignisse zusammen nennen die Autoren 19 Mehrfälle je 10.000 Personenjahre, rechnerisch einen auf rund 530 Frauenjahre.
Umgekehrt kann ein starkes relatives Signal klein sein. Die Lungenembolie hatte in der WHI ein Gefahrenverhältnis von 2,13, also mehr als eine Verdopplung. Bei 8 Mehrfällen heißt das rechnerisch: Die Ausgangsrate lag bei etwa 7 Fällen je 10.000 Personenjahre (8 geteilt durch 1,13). Das ist eine grobe Rückrechnung, aber sie zeigt, warum die Frage nach dem Ausgangsrisiko immer die erste sein sollte. Eine Zahl wie „doppelt so häufig“ sagt ohne sie fast nichts.
Wie oft berühmte Ergebnisse später kippen
Der Hormonfall ist kein Einzelfall. Der Epidemiologe John Ioannidis hat in einer Analyse im „Journal of the American Medical Association“ 49 klinische Studien untersucht, die zwischen 1990 und 2003 in großen Fachzeitschriften erschienen und mehr als 1.000-mal zitiert wurden. 45 davon behaupteten eine wirksame Behandlung. Von diesen 45 wurden später 7 (16 Prozent) widerlegt, 7 weitere (16 Prozent) hatten eine stärkere Wirkung gezeigt als Folgestudien, 20 (44 Prozent) wurden bestätigt und 11 (24 Prozent) blieben weitgehend unüberprüft.
Auffällig ist die Aufteilung nach Studientyp. Von 6 vielzitierten nicht randomisierten Studien wurden 5 widerlegt oder überschätzten den Effekt, das sind 83 Prozent. Bei den 39 randomisierten Studien waren es 9, also 23 Prozent. Auch unter den randomisierten gehörten die später korrigierten häufiger zu den kleinen Studien. Zugleich ist die Stichprobe begrenzt: Es sind nur besonders prominente Arbeiten, und die Auswahl sagt nichts über die gesamte medizinische Forschung.
Kaffee: Zwei Schlagzeilen aus derselben Datenlage
Ein Fall, in dem beide Seiten ihre Studie haben, ist der Kaffee. Ein im „BMJ“ veröffentlichter Überblick über Meta-Analysen wertete 201 Meta-Analysen aus Beobachtungsstudien mit 67 verschiedenen Gesundheitsfolgen aus sowie 17 Meta-Analysen aus Interventionsstudien. Das Ergebnis: Bei drei bis vier Tassen am Tag lag das relative Risiko für die Gesamtsterblichkeit bei 0,83 (0,79 bis 0,88) im Vergleich zu keinem Kaffee, für Herz-Kreislauf-Sterblichkeit bei 0,81.
Schädliche Zusammenhänge verschwanden nach Angaben der Autoren weitgehend, sobald das Rauchen sauber herausgerechnet wurde. Das ist die klassische Auflösung eines Widerspruchs: Wer Kaffee trinkt, raucht womöglich auch öfter, und dann schreibt man dem Kaffee zu, was dem Tabak gehört. Eine Ausnahme blieb die Schwangerschaft. Bei hohem im Vergleich zu keinem oder wenig Konsum lag die Odds Ratio für niedriges Geburtsgewicht bei 1,31 und für Schwangerschaftsverlust bei 1,46. Die Autoren betonen ausdrücklich, dass robuste randomisierte Studien nötig wären, um zu klären, ob die Zusammenhänge kausal sind. „Kaffee schützt“ und „Kaffee schadet“ können also beide in Überschriften stehen und beide eine Studie zitieren, ohne dass jemand Unwahres schreibt.
Vitamine: Wenn ein Zusammenhang nicht hält
Frühe Beobachtungen hatten nahegelegt, dass Menschen mit hohen Blutwerten an Vitamin E und Beta-Carotin seltener an Lungenkrebs erkranken. Das lud dazu ein, es mit Tabletten zu probieren. Die finnische ATBC-Studie prüfte das an 29.133 männlichen Rauchern zwischen 50 und 69 Jahren. Vitamin E änderte die Lungenkrebsrate nicht (minus 2 Prozent, Intervall minus 14 bis plus 12). Unter Beta-Carotin stieg sie um 18 Prozent (Intervall 3 bis 36 Prozent), die Gesamtsterblichkeit um 8 Prozent (1 bis 16 Prozent). Die Autoren selbst nannten das „unerwartet“.
Ein Cochrane-Review von 2012 fasste später 78 randomisierte Studien mit 296.707 Teilnehmern zusammen. Im Zufallseffekte-Modell zeigte sich über alle Antioxidantien kein signifikanter Einfluss auf die Sterblichkeit (relatives Risiko 1,02; Intervall 0,98 bis 1,05). Im Modell mit festen Effekten ergab sich ein knapp signifikanter Anstieg (1,03; 1,01 bis 1,05). Beschränkt auf die 56 Studien mit geringem Verzerrungsrisiko lag der Wert bei 1,04 (1,01 bis 1,07). Dieselben Daten, zwei Rechenmodelle, zwei Aussagen: Das ist kein Skandal, sondern zeigt, wie nah solche Effekte an der Grenze der Unterscheidbarkeit liegen. Wer nur eine der Zahlen in eine Überschrift setzt, kann sowohl „Antioxidantien schaden“ als auch „Antioxidantien sind unschädlich“ schreiben.
Was man beim Lesen tun kann
Nichts davon verlangt ein Statistikstudium. Fünf Fragen reichen für die meisten Überschriften:
Wurde zufällig zugeteilt oder nur beobachtet? Beobachtung zeigt Zusammenhänge, Zufallszuteilung kommt Ursachen näher.
Wer genau war dabei? Alter, Geschlecht, Vorerkrankungen und Ausgangsrisiko sagen mehr als der Name des Wirkstoffs.
Was steht neben der Prozentzahl? Fehlen absolute Zahlen, lässt sich der Effekt nicht einordnen. Das IQWiG-Glossar oben und die Seite der Cochrane Deutschland Stiftung erklären die Begriffe.
Wie breit ist das Konfidenzintervall? Schließt es die 1 ein, ist der Unterschied statistisch nicht gesichert.
Gibt es eine systematische Übersichtsarbeit? Sie wiegt mehrere Studien gegeneinander ab und ist in der Regel verlässlicher als jede Einzelarbeit.
Für die eigene Gesundheit ersetzt das kein Gespräch mit einer Ärztin oder einem Arzt. Was allgemeine Studienzahlen für den Einzelfall bedeuten, hängt von Alter, Begleiterkrankungen und Anwendungsdauer ab, und genau das lässt sich aus einer Schlagzeile nicht erkennen. Das gilt auch für Therapien, über die viel gestritten wird, etwa medizinisches Cannabis: Ob es für einen Menschen in Frage kommt, klärt das Gespräch mit einem Cannabisarzt, nicht eine Studienzahl, und wer keinen schnellen Praxistermin bekommt, kann das auch per Online-Behandlung versuchen, die eine Untersuchung aber nicht ersetzt, wo sie nötig ist. Bei der Terminsuche hilft die Terminservicestelle unter der 116117. Verständliche, unabhängige Erklärungen zu Studien und zur Frage, woran sich gute Gesundheitsinformationen erkennen lassen, bietet gesundheitsinformation.de, allgemeine Gesundheitsthemen erklärt gesund.bund.de.
So belastbar sind die Beispiele
Alle Studienzahlen stammen aus den Zusammenfassungen der Originalarbeiten in PubMed beziehungsweise aus dem Glossar des IQWiG. Die Volltexte haben wir nicht ausgewertet. Die Rückrechnungen (Faktor 3,3, 0,34 Prozentpunkte, 1.430 und 530 Frauenjahre, Ausgangsrate bei der Lungenembolie) sind eigene, grobe Rechnungen aus diesen veröffentlichten Werten. Die vier Fälle haben wir ausgewählt, weil sie bekannt und gut dokumentiert sind. Sie belegen das Muster, aber sie sagen nichts darüber, wie häufig es ist. Die WHI prüfte außerdem ein bestimmtes Präparat in bestimmter Dosierung an US-amerikanischen Frauen, die Ergebnisse lassen sich nicht ohne Weiteres auf andere Präparate, andere Länder oder heutige Anwendungen übertragen.
