Signifikanz ohne Größe: Wie Supplement-Studien ihre Ergebnisse berichten
Wir haben die Zusammenfassungen von 2.481 bedeutenden Supplement-Studien gelesen. Fast alle sagen dir, ob ein Effekt „statistisch signifikant" war. Weit weniger sagen dir das Einzige, worauf es ankommt — wie groß der Effekt war.
Eine Supplement-Studie ist etwa 4-mal häufiger bereit, dir zu sagen, dass ein Effekt signifikant war, als dir zu sagen, wie groß er war.
Von Baher Al Hakim, Gründer, SupStack · Veröffentlicht 11. Juli 2026
63.8%
nennen einen p-Wert (war es signifikant?)
16.2%
nennen ein Konfidenzintervall (die Größe)
10.5%
nennen eine Effektgröße
~4×
häufiger Signifikanz als Größe
„Signifikant" heißt nicht „groß"
Ein p-Wert beantwortet eine Ja/Nein-Frage: Ist dieser Effekt vermutlich echt, oder könnte es nur Zufall sein? Das ist nützlich — sagt aber nichts darüber, ob der Effekt groß genug ist, um für dich eine Rolle zu spielen.
Ein Effekt kann statistisch signifikant und trotzdem winzig sein. Mit genug Teilnehmenden lässt sich zweifelsfrei belegen, dass ein Supplement etwas um einen Betrag senkt, der zu klein ist, um je bemerkt zu werden. Der p-Wert leuchtet grün. Der reale Nutzen liegt nahe null. Nur die Effektgröße und ihr Konfidenzintervall unterscheiden diese beiden Fälle.
p-Wert
„Es wird heute regnen." Wahrscheinlich wahr. Sagt nichts darüber, ob du das Picknick absagen sollst.
Effektgröße + Intervall
„Etwa 5 mm, plus/minus." Jetzt weißt du, dass es nieselt, nicht schüttet — und wie sicher du sein kannst.
Berichtet eine Studie nur die erste Art von Aussage, erfährst du, dass der Befund echt ist, musst aber raten, ob er etwas wert ist.
Was die Zusammenfassung einer Supplement-Studie tatsächlich berichtet
16 von 100
nennen ein Konfidenzintervall — die tatsächliche Größe des Effekts. Der Rest sagt dir nur, ob er signifikant war.
Anteil von 2.481 randomisierten kontrollierten Studien, deren Zusammenfassung das jeweilige Element enthält. Türkis sagt dir die Größe des Effekts; Bernstein sagt dir nur, ob er signifikant war.
Sagt dir die Größe des EffektsSagt dir nur, ob er signifikant war
Ein p-WertWar das Ergebnis signifikant?63.8%
Ein KonfidenzintervallWie groß ist der Effekt, und wie genau?16.2%
Eine benannte Effektgrößez. B. Risikoverhältnis, mittlere Differenz10.5%
Das ist eine ~4-fache Lücke zwischen Signifikanz und Größe.
Quelle: SupStack-Analyse von 2.481 RCT-Zusammenfassungen, klassifiziert nach PubMeds eigenem Publikationstyp. Detektoren gegen eine blinde Zweitkodierung von 100 Zusammenfassungen validiert (F1 > 0,95).
Eine Entscheidung, keine Einschränkung
Nichts an der Durchführung einer Studie hindert die Autoren daran, eine Effektgröße zu berichten. Wir wissen das, weil eine andere Studienart — eine Metaanalyse, die viele Studien bündelt — genau das routinemäßig tut.
75%
der 1.680 Metaanalysen im selben Korpus berichten ein Konfidenzintervall — gegenüber nur 16.2% der Einzelstudien. Dasselbe Feld, dieselbe Evidenz, eine völlig andere Berichtsgewohnheit. Die Größenangabe existiert. Die meisten Studien stellen sie nur nicht dorthin, wo du sie liest.
Und es bessert sich kaum
Anteil der RCTs, die ein Konfidenzintervall berichten, im Zeitverlauf. Er ist gestiegen, bleibt aber die Ausnahme — die Lücke ist real und aktuell, kein Relikt älterer Arbeiten.
Was das bedeutet, wenn du eine Aussage liest
1
„Statistisch signifikant" ist die Untergrenze, nicht die Ziellinie
Es bedeutet, der Effekt ist vermutlich echt. Es bedeutet nicht, dass der Effekt groß genug ist, um dein Befinden zu ändern.
2
Achte auf die Zahl und ihren Bereich
Ein belastbares Ergebnis nennt die Effektgröße und ein Konfidenzintervall — z. B. „um 3 Punkte gesenkt (95%-KI 1 bis 5)". Ein Intervall, das nahe null liegt, ist ein schwacher Effekt, so klein der p-Wert auch sein mag.
3
Ein einzelner p-Wert ist eine halbe Geschichte
Nennt eine Überschrift oder ein Etikett nur „p < 0,05" und keine Größenordnung, wurde die Größe weggelassen — und genau das entscheidet, ob es dein Geld wert ist.
Häufige Fragen
Beweisen Supplement-Studien, dass Supplemente wirken?+–
Nicht allein. Ein p-Wert (den 63.8% der Studien nennen) zeigt, dass ein Effekt vermutlich echt ist — nicht, dass er groß genug ist, um zu zählen. Nur 16.2% berichten die Effektgröße, die das entscheidet.
Was ist der Unterschied zwischen einem p-Wert und einem Konfidenzintervall?+–
Ein p-Wert sagt dir, ob ein Effekt wahrscheinlich echt ist (ja/nein). Ein Konfidenzintervall sagt dir, wie groß der Effekt ist und wie genau — den Bereich, in dem der wahre Wert plausibel liegt.
Warum ist es wichtig, dass eine Studie die Effektgröße berichtet?+–
Weil ein Effekt statistisch signifikant und trotzdem zu klein sein kann, um bemerkt zu werden. Ohne die Größe und ihr Intervall kannst du nicht erkennen, ob ein echtes Ergebnis auch bedeutsam ist.
Heißt das, die Supplemente wirken nicht?+–
Nein. Diese Analyse betrifft, wie Studien berichten, nicht, ob ein Supplement wirkt. Es wird keine Wirksamkeitsaussage gemacht.
Diese Grafiken einbetten
Frei nutzbar mit Quellenangabe — kopiere den Code, um eine Grafik (mit Rücklink) in deinen Artikel oder Beitrag einzufügen.
Nur 1 von 6 Studien nennt die Effektgröße
Signifikanz vs. Größe
Effektgrößen-Berichterstattung im Zeitverlauf
Wie dies zu lesen ist (und seine Grenzen)
- ·Dies ist keine Aussage darüber, ob ein Supplement wirkt — es geht um die Berichterstattung, nicht um die Wirksamkeit.
- ·Es misst die Zusammenfassung, nicht den Volltext. Manche Studien berichten das Intervall erst im Haupttext.
- ·Dies sind handverlesene, viel zitierte Studien, daher ist 16.2% eine Obergrenze: über alle Supplement-Studien hinweg liegt die tatsächliche Rate wahrscheinlich niedriger.
Methodik & Daten+
Jede Zusammenfassung von 2.481 randomisierten kontrollierten Studien aus SupStacks kuratierter Zitationsliste wurde von PubMed geladen und mit deterministischen Textdetektoren auf p-Werte, Konfidenzintervalle und Effektgrößen-Maße durchsucht. Studientypen stammen aus PubMeds eigenen Labels, nicht aus unseren. Die Detektoren wurden gegen eine blinde Zweitkodierung von 100 Zusammenfassungen validiert (F1 > 0,95 bei allen drei Maßen). Stand 11. Juli 2026.
Nutze die Daten
Die abgeleiteten Kennzeichen pro Studie (PMIDs + Detektor-Flags) sind offen und über ein festgeschriebenes Skript reproduzierbar. Der zugrunde liegende Abstract-Text ist der von PubMed und wird nicht weiterverbreitet.
Zitieren: „Signifikanz ohne Größe: Wie Supplement-Studien ihre Ergebnisse berichten (2026), SupStack — supstack.me."