Foscher bitten um gefälschte Statistiken
Es gibt drei Arten von Lügen: Notlügen, Lügen und Statistiken, so ein Sprichwort aus dem englischsprachigen Raum. Und auch bei uns heisst es häufig, man solle nur jener Statistik glauben, die man selbst gefälscht habe. Ein Zitat, das offenbar besonders unter Statistikern die Runde macht.
Wie zutreffend all das ist, bestätigt eine Untersuchung, die am 16. Oktober 2018 im Fachjournal Annals of Internal Medicine veröffentlicht wurde. Darin zeigte sich, dass Forscher ihre Statistiker recht oft um einen „kleinen Gefallen“ bitten. Statistische Fehler scheinen sich also nicht auf versehentliche Missgeschicke zu beschränken, sondern können durchaus die Folge absichtlicher und skrupelloser Datenmanipulationen sein.
Wie Statistiken manipuliert werden können
Die drei Autoren der Studie (Dr. Min Qi Wang, Dr. med. Alice F. Yan und Dr. med. dent. Ralph V. Katz) befragten 522 Statistiker zu dieser Thematik. 390 der Befragten äusserten sich dazu. Die „Fälschungsbitten“ der Wissenschaftler an ihre Statistiker wurden sodann in einer Tabelle präsentiert und nach ihrem „Schweregrad“ sortiert. Es tauchten beispielswiese die folgenden Bitten auf:
- Fälschung der statistischen Signifikanz, um ein erwünschtes Ergebnis zu belegen
- Änderung von Daten, um ein erwünschtes Ergebnis zu erzielen
- Entfernung oder Änderung von Daten, um die Hypothese der Forscher zu unterstützen
- Keine vollständige Beschreibung der tatsächlichen Therapie in der Studie, weil das Studienprotokoll sowieso nicht exakt eingehalten wurde
- Unterschlage Daten, die eine Verzerrung der Daten belegen
- Verwende die Daten vor Datenbereinigung und -validierung
- Verwende nur die signifikanten Ergebnisse, die nicht-signifikanten lasse unter den Tisch fallen
- Ignoriere Daten, wenn dadurch das Ergebnis negativ ausfallen könnte
- Erstelle keine Grafik, weil damit die Wirkung nicht so eindrucksvoll erscheint, wie man sie darstellen möchte
Weitere Bitten von Seiten der Forscher an die Statistiker erscheinen in der Tabelle, die Sie in diesem Artikel finden.
Jeder vierte Statistiker wurde um Fälschungen gebeten
Die Zahlen rechts in der genannten Tabelle geben an, wie oft die Statistiker in den letzten fünf Jahren die entsprechenden Anfragen erhalten hatten. Die Ergebnisse sind teilweise erschütternd.
Die Bitte um Fälschung der statistischen Signifikanz erhielten immerhin 3 Prozent der befragten Statistiker. Weitere 7 Prozent wurden gebeten, Daten zu verändern, 24 Prozent – also einer von vier Statistikern – sollten Daten entfernen oder austauschen. 44 Prozent sollten die Daten vor Bereinigung auswerten und 30-mal kam die Bitte, die statistischen Ergebnisse doch bitte gemäss den Erwartungen und nicht gemäss den tatsächlichen Ergebnissen zu interpretieren.
Wissenschaftler haben oft keine Ahnung von Statistik
Es handelt sich dabei eindeutig um Aufforderungen zu mehr oder weniger schwerem wissenschaftlichem Betrug. Gerade für die Bitten um Fälschung der statistischen Signifikanz gibt es keine Entschuldigung. Die weniger schwerwiegenden Bitten sind dagegen möglicherweise nicht die Folge vorsätzlichen Betruges, sondern die Folge von Ignoranz.
Wissenschaftler kennen sich in Statistik oft nicht sehr gut aus, so dass manche Bitten an die Statistiker auch einfach daher kommen könnten, dass die Auftraggeber es nicht besser wussten. Was genau die Wissenschaftler dazu bewegte, die Statistiker um Betrug und Fälschungen zu bitten, wurde in vorliegender Untersuchung nicht näher erkundet.
Gefälschte Statistiken: Möglicher Grund für widersprüchliche Studienergebnisse
Allerdings könnte die Studie – wenigstens teilweise – eine traurige Erklärung für die anhaltende Reproduzierbarkeitskrise in der Wissenschaft liefern. Denn erst wenn ein Studienergebnis wiederholbar ist (reproduzierbar), also in weiteren Studien (unter gleichen Bedingungen) zu vergleichbaren Resultaten führte, gilt die Erst-Studie als glaubwürdig und das Ergebnis als verlässlich. Genau das aber ist oft nicht der Fall.
Es werden zig Studien mit ähnlichem Studiendesign durchgeführt – und die Ergebnisse fallen stets unterschiedlich aus, eben ganz so, wie es die beteiligten Wissenschaftler und Statistiker geplant haben und wie es der Sponsor der Studie wünschte. Allein auf wissenschaftliche Studien zu setzen, wenn es z. B. um die richtige Ernährung oder eine gesunde Lebensweise geht, ist somit nicht immer sinnvoll.