Sind die meisten Forschungsergebnisse falsch?
Ein Leser hat mir gerade einen Link auf einen hochinteressanten Aufsatz von John P. A. Ioannidis in einem medizinischen Journal geschickt, wonach die meisten Forschungsergebnisse schlichtweg falsch sind.
Den mathematischen Teil hab ich mir jetzt nicht detailliert angeschaut, weil ich gerade mit was anderem voll beschäftigt bin, aber es scheinen ein paar interessante Überlegungen zur Fehlerwahrscheinlichkeit bei Studien dabei zu sein. Ob die sich wirklich formelmäßig ausdrücken lassen, sei dahingestellt. Die Überlegungen beziehen sich damit natürlich auf Fächer wie Medizin, in der irgendwelche Thesen durch labormäßige Versuche überprüft werden. Auf Fächer wie Mathematik oder Ingenieurwissenschaften ist das so sicherlich nicht ohne weiteres übertragbar, weil da Thesen ja nicht allein durch Experimente, die von anderen nachvollzogen werden müssen, belegt werden.
Bemerkenswert finde ich dabei, daß er die Fehlerwahrscheinlichkeit auch höher sieht, umso kleiner eine Studie ist, und um umso weniger sie von anderen nachgeprüft wird (was jetzt nicht wirklich überraschend ist). Unsere Forschung geht aber immer mehr in diese Nischenforschung, in irgendwelche Mini-Rand-Themen, in denen man alleine und deshalb König ist. Und die meisten Forscher suchen sich auch deshalb gezielt solche Nischenthemen, weil sie gar nicht nachgeprüft werden wollen. Viele Thesen beruhen heute nur noch darauf, daß niemand sie nachgeprüft hat.
Die genannten Korrolare erscheinen mir aber auch für andere Fächer als Medizin als sehr zutreffend. (Danke für den Link)
6 Kommentare (RSS-Feed)
Das Ergebnis der Forschung von Herrn Ioannidis ist also, dass die meisten Forschungsergebnisse falsch sind. Hmmm, was sagt das jetzt über seine eigenen Forschngsergebnisse?? Das Ding beisst sich ja selbst in den Hintern.
Nein, denn sein Ergebnis ist ja kein medizinisches Laborversuchsergebnis, und über die schreibt er ja.
Außerdem wäre es erst ein Widerspruch wenn er sagen würde, daß alle Forschungsergebnisse falsch wären. Dann wären wir bei „Alle Kreter lügen”.
In der Informatik laufen noch genug Scharlatane herum.
Mein Doktorvater veröffentlichte gerne seine Algorithmen unvollständig, wenn nicht sogar grob falsch. Im Bereich der Künstlichen Intelligenz, bzw. im Klassifikatorbau fällt das gar nicht auf.
Der Artikel hier ist lesbarer, weniger Fachkauderwelsch:
http://www.theatlantic.com/magazine/archive/2010/11/lies-damned-lies-and-medical-science/8269/
Das hier geht in die ähnliche Richtung:
http://phys.org/news/2010-11-scientists-significantly-publish-fake.html
Wenn mich nicht alles täuscht, wurde der Link
http://www.theatlantic.com/magazine/archive/2010/11/lies-damned-lies-and-medical-science/8269/
hier shcon mal gepostet.
Zitat aus dem Abstract:
“… for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias.”
Da fiel mir spontan eine böse Satire ein die ich letztens irgendwo gelesen habe.
Es ging darum, daß Esoteriker und Parapsychologen seit Jahrzehnten versuchen, das angebliche Phänomen der Zukunftsvorhersage (‘Präkognition’) mittels ellenlanger Statistik zu beweisen. Meistens lassen sie dazu Versuchspersonen vorhersagen, welche Spielkarte o.ä. als nächstes aus dem Stapel gezogen wird.
Die Mühe könnten sie sich sparen, denn es liegt bereits enorm umfangreiches Datenmaterial vor, was die Realität von Präkognition vollkommen eindeutig und statistisch unanfechtbar beweist: Sämtliche wissenschaftlichen Papers. In mehr als 99,5% aller wissenschaftlichen Papers wird nämlich die Anfangshypothese bestätigt ;-D Ein wissenschaftliches Paper, wo die beschriebene Messreihe die Anfangshypothese widerlegt ist eine echte Rarität.
Das kann kein Zufall sein … (um nochmal zu betonen: Achtung, Satire)