90% der medizinischen Forschungsergebnisse Humbug?
In der Zeitschrift The Atlantic ist ein bemerkenswerter Artikel über den Forscher Dr. John Ioannidis und dessen Ergebnisse zu tiefgreifenden systematischen Fehlern in der medizinischen Forschung, die prinzipiell alle Wissenschaftsbereiche betrifft.
(Gefunden über Fefes Blog und das Copy, Shake, and Paste Blog)
Der Artikel ist höchst lesenswert. So lesenswert, daß es eigentlich unsinnig ist, ihn hier zusammenzufassen oder wiederzugeben. Unbedingt lesen! Es geht darin nicht um einzelne, medizinspezifische Fehler, sondern darum, daß und warum systematisch falsche Ergebnisse produziert und fehlerhafte Studien und Papers geschrieben werden, um warum sich falsche Ergebnisse trotzdem durchsetzen und so lange halten, und wie die Mechanismen der „Community” diese Fehlerdichte geradezu erzwingen.
Was ja exakt meinem Standpunkt entspricht, wonach sich im Wissenschaftsbereich eine Community und ein Wettbewerb aufgebaut haben, die nicht nur viel beschworenen wissenschaftlichen Standard nicht hervorbringen, sondern im Gegenteil geradezu verhindern. Wissenschaft und die Struktur unserer Wissenschaftlergemeinde schließen sich gegenseitig geradezu aus. Es hat sich ein System etabliert, was Wissenschaftlichkeit effektiv verhindert. weil die Ökonomie unserer Wissenschaftlerwelt mit Wissenschaft unvereinbar ist. Leicht überspitzt könnte man sagen, daß gerade das Wissenschaftssystem so ausgestattet ist, daß es Wissenschaftlichkeit effektiv verhindert, unterdrückt, vertreibt.
Trotzdem ein paar bemerkenswerte Zitate aus diesem Text:
He and his team have shown, again and again, and in many different ways, that much of what biomedical researchers conclude in published studies—conclusions that doctors keep in mind when they prescribe antibiotics or blood-pressure medication, or when they advise us to consume more fiber or less meat, or when they recommend surgery for heart disease or back pain—is misleading, exaggerated, and often flat-out wrong. He charges that as much as 90 percent of the published medical information that doctors rely on is flawed. […]
Yet for all his influence, he worries that the field of medical research is so pervasively flawed, and so riddled with conflicts of interest, that it might be chronically resistant to change—or even to publicly admitting that there’s a problem. […]
To get funding and tenured positions, and often merely to stay afloat, researchers have to get their work published in well-regarded journals, where rejection rates can climb above 90 percent. Not surprisingly, the studies that tend to make the grade are those with eye-catching findings. But while coming up with eye-catching theories is relatively easy, getting reality to bear them out is another matter. The great majority collapse under the weight of contradictory data when studied rigorously. Imagine, though, that five different research teams test an interesting theory that’s making the rounds, and four of the groups correctly prove the idea false, while the one less cautious group incorrectly “proves” it true through some combination of error, fluke, and clever selection of data. Guess whose findings your doctor ends up reading about in the journal, and you end up hearing about on the evening news? […]
Simply put, if you’re attracted to ideas that have a good chance of being wrong, and if you’re motivated to prove them right, and if you have a little wiggle room in how you assemble the evidence, you’ll probably succeed in proving wrong theories right. His model predicted, in different fields of medical research, rates of wrongness roughly corresponding to the observed rates at which findings were later convincingly refuted: 80 percent of non-randomized studies (by far the most common type) turn out to be wrong, as do 25 percent of supposedly gold-standard randomized trials, and as much as 10 percent of the platinum-standard large randomized trials. The article spelled out his belief that researchers were frequently manipulating data analyses, chasing career-advancing findings rather than good science, and even using the peer-review process—in which journals ask researchers to help decide which studies to publish—to suppress opposing views. […]
He zoomed in on 49 of the most highly regarded research findings in medicine over the previous 13 years, as judged by the science community’s two standard measures: the papers had appeared in the journals most widely cited in research articles, and the 49 articles themselves were the most widely cited articles in these journals. These were articles that helped lead to the widespread popularity of treatments such as the use of hormone-replacement therapy for menopausal women, vitamin E to reduce the risk of heart disease, coronary stents to ward off heart attacks, and daily low-dose aspirin to control blood pressure and prevent heart attacks and strokes. Ioannidis was putting his contentions to the test not against run-of-the-mill research, or even merely well-accepted research, but against the absolute tip of the research pyramid. Of the 49 articles, 45 claimed to have uncovered effective interventions. Thirty-four of these claims had been retested, and 14 of these, or 41 percent, had been convincingly shown to be wrong or significantly exaggerated. If between a third and a half of the most acclaimed research in medicine was proving untrustworthy, the scope and impact of the problem were undeniable. […]
When a five-year study of 10,000 people finds that those who take more vitamin X are less likely to get cancer Y, you’d think you have pretty good reason to take more vitamin X, and physicians routinely pass these recommendations on to patients. But these studies often sharply conflict with one another. Studies have gone back and forth on the cancer-preventing powers of vitamins A, D, and E; on the heart-health benefits of eating fat and carbs; and even on the question of whether being overweight is more likely to extend or shorten your life. How should we choose among these dueling, high-profile nutritional findings? Ioannidis suggests a simple approach: ignore them all. […]
And so it goes for all medical studies, he says. Indeed, nutritional studies aren’t the worst. Drug studies have the added corruptive force of financial conflict of interest. The exciting links between genes and various diseases and traits that are relentlessly hyped in the press for heralding miraculous around-the-corner treatments for everything from colon cancer to schizophrenia have in the past proved so vulnerable to error and distortion, Ioannidis has found, that in some cases you’d have done about as well by throwing darts at a chart of the genome. […]
“Even when the evidence shows that a particular research idea is wrong, if you have thousands of scientists who have invested their careers in it, they’ll continue to publish papers on it,” he says. “It’s like an epidemic, in the sense that they’re infected with these wrong ideas, and they’re spreading it to other researchers through journals.”
Though scientists and science journalists are constantly talking up the value of the peer-review process, researchers admit among themselves that biased, erroneous, and even blatantly fraudulent studies easily slip through it. Nature, the grande dame of science journals, stated in a 2006 editorial, “Scientists understand that peer review per se provides only a minimal assurance of quality, and that the public conception of peer review as a stamp of authentication is far from the truth.” What’s more, the peer-review process often pressures researchers to shy away from striking out in genuinely new directions, and instead to build on the findings of their colleagues (that is, their potential reviewers) in ways that only seem like breakthroughs—as with the exciting-sounding gene linkages (autism genes identified!) and nutritional findings (olive oil lowers blood pressure!) that are really just dubious and conflicting variations on a theme.
Most journal editors don’t even claim to protect against the problems that plague these studies. University and government research overseers rarely step in to directly enforce research quality, and when they do, the science community goes ballistic over the outside interference. The ultimate protection against research error and bias is supposed to come from the way scientists constantly retest each other’s results—except they don’t. Only the most prominent findings are likely to be put to the test, because there’s likely to be publication payoff in firming up the proof, or contradicting it. […]
We could solve much of the wrongness problem, Ioannidis says, if the world simply stopped expecting scientists to be right. That’s because being wrong in science is fine, and even necessary—as long as scientists recognize that they blew it, report their mistake openly instead of disguising it as a success, and then move on to the next thing, until they come up with the very occasional genuine breakthrough. But as long as careers remain contingent on producing a stream of research that’s dressed up to seem more right than it is, scientists will keep delivering exactly that.
Und das entspricht ja genau meinen Beobachtungen der letzten Jahre in der Informatik. Wie sehr darauf geachtet wird, nur nichts in Frage zu stellen. Und daß man an deutschen Universitäten jede Untersuchung professoraler Aussagen schon mit der Begründung ablehnt, daß man jemandes „Reputation” nicht beschädigen will. Das System beruht immanent auf Betrug und dessen Nichtaufklärung.
Bemerkenswert ist auch, als wie schlecht sich der Peer Review erweist. Was vor allem deshalb beachtlich ist, weil ja immer so sehr darauf geachtet wird, daß es keine andere Qualitätskontrolle als den Peer Review geben darf. Was im Endeffekt nichts anderes bedeutet, als daß man systematisch jede Qualitätskontrolle sabotiert.
6 Kommentare (RSS-Feed)
In meinem Studium (Dipl. Soz-Päd) beziehen wir uns recht häufig auf Menschen wie John B. Watson (Behaviourismus) und Burrhus Frederic Skinner (operante Konditionierung). Die Forschungen dieser beiden sind an sich schon ein wenig infam, weil ihr abstraktes Idealmodell sozusagen erfüllt wäre, wenn jeder Mensch funktionieren würde wie der Pawlow’sche Hund (“Das pervertierteste Tier überhaupt” sagte Hannah Arendt dazu, weil seine Konditionierung dann “perfekt” ist, wenn es keine spontanen Reflexe mehr zeigt, d.h. kein wirkliches Lebewesen mehr ist, sondern eine Maschine). Davon abgesehen, dass es fragwürdig ist, auf Grundlage solcher Theorien Pädagoge werden zu wollen, sind diese beiden Herren aber noch anders interessant.
Der Watson hat nämlich ein Experiment durchgeführt (mit einem Kind, einem Hasen und zwei Eisenstange), auf Grund dessen der Behaviourismus geboren wurde. Das Experiment konnte nie wiederholt werden und in Interviews zu diesem Experiment hat er regelmäßig mal hier etwas weggelassen und dort etwas hinzugefügt. Er konnte das ca. 40 Jahre durchführen, bis er starb.
Der Skinner, der in der Psychologie noch beliebter ist als in der Pädagogik, hat nach seinen ersten Erfolgen mit seiner “Skinner-Box” auch fürs Militär gearbeitet. Dort hat er so lustige Experimente veranstaltet, wie man Brieftauben so konditionieren könnte, dass sie quasi fliegende Bomben werden können. Nach dessen Philosophie lehren wir Erziehung und vor allem Sozialisation. Niemanden stört das.
Es gibt auch noch einen dritten Mann, dessen Name mir gerade leider nicht kommt. Er aber war der erste, der in den 60igern (oder 70igern) eine “Normalisierung” des Geschlechts durchgeführt hat, d.h. es wurde ein Kind geboren, dessen Geschlechtszugehörigkeit nicht eindeutig war. Der besagte Arzt (!) beschloß dann das Experiment, diesem Menschen das Geschlecht zu etwas Penis-artigem zu machen und zwang somit das gerade 3-Monate alte Leben, als Mann zu leben. Besagter Doktor wurde dafür sehr gefeiert und er war quasi der Gründer der Geschlechtsnormalisierungs-Operationen.
Was nie erzählt wird ist, dass der zum Mann gemachte Mensch sein ganzes Leben lang Medikamente nehmen musste, ab seinem 20 Lebensjahr auch Psychopharmaka gegen Depressionen und Schizophrenie und dass er sein Leben mit 37 beendete, weil er es nicht mehr aushielt so zu Leben. Die Ärzteschaft hat nämlich in den 70igern mal beschloßen, dass kein Mensch auf die Welt kommen dürfe mit einem nicht eindeutigen Geschlecht (man könnte das Anti-Hermaphrodismus nennen). Man spielt da mit dem Leben von Menschen, weil man befindet, man müsse eindeutig männlich oder eindeutig weiblich sein und zwar direkt nach der Geburt. Selbst das 18./19. Jh. war weiter in diesem Punkt, denn es sah vor, dass sich ein Hermaphrodit erst mit 18 entscheiden muss, als was er Leben will (und dazu dann auch verpflichtet wurde im Rahmen der Sittengesetze). Heute schneidet man ab oder operiert um und hofft, dass es keinen Schaden geben wird, wobei man allerdings noch nie systematisch untersucht hat, was für Schäden es gibt.
Die Wissenschaftsgeschichte und insbesondere die der Medizin ist voll mit solchen Unsauberkeiten und Widerlichkeiten. Die heutige Methode wird das noch verstärkt haben, aber erschaffen hat sie das nicht.
Ich zitiere mal wie Dr. Stefan Lanka von Goethe Faust I:
Hier war die Arznei, die Patienten starben,
Und niemand fragte: wer genas?
So haben wir mit höllischen Latwergen
In diesen Tälern, diesen Bergen,
Weit schlimmer als die Pest getobt.
Ich habe selbst den Gift an Tausende gegeben,
Sie welkten hin, ich muß erleben
Daß man die frechen Mörder lobt.
Oh, sorry, ging noch weiter: 😉
FAUST:
O glücklich, wer noch hoffen kann
Aus diesem Meer des Irrtums aufzutauchen!
😀
Während meiner Promotionszeit in der theoretischen Chemie habe ich nur ca 30 Paper gelesen, von denen befand ich nur eines wirklich transparent und zwei halbwegs nachvollziehbar.
Mein Eindruck war dann das ca. 10% der Paper nur verwertbar sind,
war natürlich nur eine Stichprobe, aber immerhin deckungslgleich mit den 90% Bullshit hier…
@Hadmut:
Was mich noch interessieren würde, ich weiß nicht , ob das jemand gefragt hat, vermutlich schon…
In Adele(Ich hab es nur teilweise gelesen) beschreibst du deinen Leidensweg, vor allem die Korruption,
die dir in Rechtstreit nachher offenbar wurde…
Während deiner Promotionszeit muß dir aber doch schon vieles der korrupten Netzwerke zumindest im Ansatz klar geworden sein…
Warum wolltest du den Titel/Grad dann so “bad”, dass du das Spiel so viele Jahre mitgemacht hast? Ich für meinen Teil z.B., hab mir schnell gedacht, dass das System so korrupt ist, dass eine
Asuzeichnung einer solchen Gemeinschaft schon fast keinen Wert mehr besitzt, bzw. dass mein Anstand und meine Würde es nicht erlauben,
mich dafür so verbiegen zu lassen?
@Rahul:
Das haben mich Leute (und ich mich selbst) schon oft gefragt, aber normalerweise nicht im Blog.
Das Kuriose daran ist, daß ich ja nicht nur die 4 1/2 Jahre als Mitarbeiter für die Promotion am Institut war, sondern vorher schon fast 6 Jahre während des Studiums als Hiwi. Ich war also rund 10 Jahre an diesem Institut. Aber ich habe das vorher so nicht mitbekommen.
Daß ich an diesem Institut war und so lange geblieben bin lag vor allem daran, daß ich sehr viele gute und nette Kollegen (leider nicht nur solche, aber das ist ein anderes Kapitel) und mit denen viel Spaß hatte. Während der Zeit als Hiwi hatte ich mit dem Professor zwar schon einige sehr seltsame Begegnungen und öfter mal den Eindruck, daß der nicht weiß, wovon er redet, aber ich habe nur sehr selten mit dem zu tun gehabt, und wenn, dann bin ich mit ihm prima ausgekommen. Eigentlich wollte ich nach dem Diplom auch weg, aber der hat mich so nett, nachdrücklich und mit viel Honig darum gebeten, daß ich doch weiter bleiben soll, und daß ich in 1-2 Jahren promovieren könne, daß ich mich halt habe breitschlagen lassen. Das war ein Fehler. Das schlimmste, was einem Doktoranden passieren kann ist, daß ein Professor ihn braucht und gut findet. Dann läßt er ihn nämlich nicht weg und dazu nicht promovieren. Damals hatte ich noch eine hohe Meinung von Informatik, von Wissenschaft und von Professoren.
Auch in den ersten zwei Jahren als Mitarbeiter habe ich fast nie mit ihm zu tun gehabt. Im ersten Jahr habe ich ihn nur auf der Weihnachtsfeier gesehen. Deshalb habe ich zum Beispiel auch nie die eigentlich vorgeschriebene Verpflichtung auf die Verfassung abgelegt. Auch später hat er sich immer – sogar von der Sekretärin – vor den Mitarbeitern abschirmen lassen. Der war wochen- und monatelang weg, und oft kam er nur in die Uni, um kostenlos zwei Stunden im Uni-Hallenbad zu schwimmen. Wir mußten als Mitarbeiter oft in die Vorlesungen gehen um ihn danach zu erwischen und was fragen zu können, bevor er wieder weg war – falls er die Vorlesung überhaupt selbst gelesen hat.
Erst so ab dem dritten Jahr habe ich mitbekommen, was für ein dreckiges Spiel der da spielt, als es Krach mit anderen Mitarbeitern gab. Ich habe immer öfter mitbekommen, wie der anderen Leuten nachgestellt hat, wie der Leute (sogar andere Professoren) erpresst hat, wie der auf Leute losgegangen ist. Ich habe immer öfter gemerkt, daß der keine Ahnung hat, wovon er redet, daß der fachlich nichts drauf hat, daß der hochstapelt, und daß der einen Sprung in der Schüssel hat, weil der sich wirklich einredete und am Ende glaubte, er wäre einer der besten Kryptologen der Welt. Der glaubte (und sagte wortwörtlich im Mitarbeiterseminar) er sei genial, und wir alle nur seine Dendriten. Und ich habe immer öfter mit anderen Leuten über ihn gesprochen, die mir so die Sachen zugetragen haben. Deshalb habe ich so ungefähr im dritten Jahr angefangen, die Notbremse zu ziehen, und meinen Abgang vorbereitet. Damit war er sogar einverstanden, und hat mir selbst vorgeschlagen, mit der Promotion endlich voranzumachen. Ich habe damals aber noch nicht so richtig gemerkt, was für ein Blender und Lügner der war, daß der eigentlich immer und jeden belogen hat. So richtig gemerkt habe ich das erst gegen Ende 1997, im Zusammenhang mit der damaligen Internet-Enquete-Kommission und dem Bundestagsgutachten. Da war ich aber auch schon auf dem Absprung.
Noch bis etwa 6 Wochen vor dem Promotionstermin sah alles gut aus. Bis dahin habe ich mich trotz all der Ärgerlichkeiten mit dem Professor gut verstanden. Er hat selbst den Promotionstermin festgelegt und einen externen Zweitgutachter eingeladen, und mir sogar versprochen, die Auszeichnung zu beantragen.
Und dann hat das erst gekracht, weil der im Hintergrund – das wußte ich nicht – Geschäfte gemacht und zusammen mit einem anderen Professor die Fakultät betrogen hatte, da sollte ich was für die implementieren. Das hat er mir aber nicht gesagt.
Was da alles schief gelaufen ist, was für Geschäfte da liefen, wo die manipuliert haben und was das überhaupt für ein verlogener Sumpf ist, habe ich erst im Nachhinein im Gerichtsstreit und durch die vielen Akteneinsichten und Hinweise Dritter herausgefunden.
So ganz jeden Respekt verloren habe ich dann, als mir die Prüfer und Gutachter in den Gerichtsprozessen als Gegner gegenüberstanden. Da habe ich dann gemerkt, was für jämmerliche Figuren das sind, daß die sich zu Fachthemen überhaupt nicht äußern können, daß die nur dummes Zeug dahersülzen und eigentlich nichts können außer täuschen und betrügen. Die Uni Karlsruhe hat sogar selbst zugegeben, daß sie mich nicht prüfen können, weil sie keinen haben, der fachlich mithalten könnte. Die Sachverständigen und der Schweizer Prüfer gelten als beste ihres Faches, haben sich aber als inkompetent herausgestellt. Lies mal in Adele, mich welchen Manipulationen das Gericht arbeiten mußte – Akten und Schriftsätze zurückhalten, mir die Einwände verbieten, heimlich das Protokoll hinterher verändern – um überhaupt den Anschein eines Sachverständigen zu haben, der mir standgehalten hätte.
Die ganze Zeit treten die mit einer ungeheuren Arroganz und Überheblichkeit auf, als ob man nur Informatik könnte, wenn man Doktor und Professor heißt und den längsten Titel hat, und als ob Normalmenschen nicht des Zuhörens wert wären, aber wenn die einem mal direkt als Gegner gegenüberstehen, sind das ganz kleine Würstchen, die das Maul nicht aufkriegen und mit den einfachsten Fragen hoffnungslos überfordert sind. Das ist alles nur Nebel, Schwindel, Nimbus.
Das habe ich aber erst im Laufe der Zeit gemerkt. Damals war mir das nicht klar. Als Mitarbeiter habe ich das nie so gemerkt und auch nicht merken können. Erst als direkter Gegner habe ich gemerkt, daß die quasi wehrlos sind. Man lernt viel mehr dabei, wenn man einem Professor nachweist, daß er sein Fach nicht beherrscht und ein Schwätzer ist, als wenn man seine Vorlesungen anhört. Aber wann kommt man als Studi oder Assi in diese Position? Ich habe selbst beim Nachweis der Fehler in Beths Gutachten mehr gelernt, als ich jemals an der Uni Karlsruhe hätte lernen können. Deshalb hat das auch so lange gedauert, das detailliert zu verstehen und nachzuweisen. Solange ich den Professoren als Priester des Wissens geglaubt habe, habe ich die Fehler nicht bemerkt. Erst durch diese Auseinandersetzung ist der kritische Blick entstanden. Ich glaube sogar, daß ich durch den Streit ein wesentlich besserer Wissenschaftler und Informatiker geworden bin, als ich es mit diesem hirnloser Promotionsverfahren geworden wäre. Das Dumme ist nur, daß einem das nichts bringt, weil es eben auf den Doktor und nicht auf den Hirninhalt ankommt.
Wenn ich danach gefragt werde, erzähle ich häufig die Geschichte von dem Knastinsassen, der aus dem Gefängnis ausbricht. Er sieht eine Mauer und steigt drüber. Dann sieht er eine zweite und steigt drüber. Dann kommt die dritte und er denkt, gut, das kann ich, und steigt drüber.
Irgendwann kommt die zwanzigste, und er steigt drüber. Denkt sich, bis hierher war’s gut.
Irgendwann ist er bei der fünfzigsten, und denkt sich, ich bin nicht über 50 Mauern gestiegen, um hier dann einfach aufzugeben.
Und irgendwann kommt einer daher und fragt ihn, warum er über 500 Mauern gestiegen ist, anstatt in seiner Zelle zu bleiben, wo er es warm und bequem gehabt hätte und längst entlassen worden wäre. Weil er nie sehen konnte, was da auf ihn zukam. Weil er immer nur die nächste Mauer gesehen hatte. Und weil es tatsächlich aus dem jeweiligen Blickwinkel ohne das Zukunftswissen die richtige Entscheidung war, über die nächste Mauer zu steigen. Natürlich nicht aus der Gesamtsicht dessen, der fragt. Aber tatsächlich und spieltheoretisch kann einen die für die lokale Sicht richtige Strategie global trotzdem verlieren lassen.
In dem Zusammenhang kann ich Ben Goldacres Buch “Bad Science” (oder “Die Wissenschaftslüge” auf deutsch) sowie seine Webseite http://www.badscience.net empfehlen.