Viele von Ihnen werden nicht unbedingt weiterlesen wollen. Statistik again. Trotzdem …. ein Versuch sollte es wert sein 
p-Werte aus Studien sind bei weitem nicht so zuverlässig, wie viele von uns annehmen. Man sollte nicht die Frage stellen, „ob es einen Effekt gibt“, sondern, „wie ausgeprägt ist ein Effekt vorhanden“. Spanische Dörfer?
Nun, lesen Sie einen vor kurzem in Nature erschienen Artikel zum Stellenwert von p-Werte. Sie werden schockiert sein. Zu Beginn des Textes werden Ergebnisse einer Studie kurz vorgestellt, welche die Autoren nochmals bestätigen wollten. Es kamen komplett andere Ergebnisse heraus. Die Ursache für die fehlende Reproduzierbarkeit liegt daran, dass der in den 20er Jahren des 20. Jahrhunderts von Fisher entwickelte p-Wert bei weitem nicht das hält, wie viele von uns vermuten. Nur von die Grundvoraussetzungen und Hypothesen für eine Studie stimmen, gibt der p-Wert eine zufriedenstellende Aussage, dass ein Effekt vorliegen (könnte!).
Gegner von Fisher wie Neyman und Pearson (uns allen doch bekannte Namen) entwickelten andere Verfahren, die die Unterschiede zwischen zwei Behandlungsgruppen besser darstellen sollten. Jeder von Ihnen kennt Begriffe wie falsch positiv, falsch negativ und und und … aus den ersten Biometriestunden unseres Studiums.
Spannend in diesem Artikel ist die witzige Art und Weise wie die Probleme des p-Wertes beschrieben sind, wie z.B. die Unart des „p-hackings“. Der Begriff soll darstellen, wie über verschiedene Tricks die Forscher versuchen, die statistische Signifikanz durch drehen und beugen des p-Wertes zu erreichen.
Zusammenfassend ist der Artikel sehr ernüchternd: Glauben Sie deshalb nicht an „nackte p-Werte“, sondern versuchen Sie mögliche Effekte unterschiedlicher Gruppen durch weitere statistische Tests bzw. durch gut geplante Experimente bzw. klinische Studien aufzuzeigen. Etwas ausführlicher finden Sie eine Darstellung dieser Themen bei Ioannidis et al. Es heisst nicht umsonst … glaube keiner Statistik, die Du nicht selbst gefälscht hast. In diesem Sinne ….
Und wer sich etwas amüsieren möchte, liest den Kommentar aus obigem PubMed Eintrag von Jessie Tenenbaum2014 Feb 28 1:09 p.m.
This is a great paper for people like me who think about p-values, and yet are by no means statisticians- highly recommended. I’ve been trying wrap my head about the fact that p-value does NOT mean the likelihood my hypothesis is correct. Here’s what I’ve come up with: I could hypothesize that a given male subject has only Y-containing sperm. We could then do the experiment of having him mate 5 times. If all 5 progeny come out as male, the p-value is under .05. That is, there is less than 5% chance those results could be observed by random chance. BUT that does NOT mean there is less than 5% chance that I am wrong, because it was a “long shot” (to use the article’s phrase) to begin with.
Does that seem right? Any other examples that would better illustrate this point?
