Fragwürdige Methodik in der Sicherheitsforschung
Gerade habe ich etwas gelesen, da habe ich mich geschüttelt. Ein Einblick in die Methoden und Methodik universitärer Sicherheitsforschung:
Ich hatte auf einer Mailingliste zu Sicherheitsthemen die Frage aufgeworfen, ob es (mit Blick auf Bingo Voting) nicht Wissenschaftsbetrug sei, wenn man ein Verfahren mit Eigenschaften bewirbt, von denen man nicht bewiesen hat, daß es sie hat, oder sogar weiß, daß es sie nicht hat.
Normalerweise hat sich für Wissenschaftsbetrug so die Standardsichtweise festgesetzt, daß jemand Labormeßwerte fälscht oder erfindet, Meßkurven wiederverwendet usw., was in den Labor-Fächern wie Physik, Chemie, Biologie, Medizin die Regel ist, weil bei denen eben sehr viel, wenn nicht alles über Experimente und Laborbücher läuft.
Eine meines Erachtens eingeschränkte Sichtweise, weil sie Fächer wie die Informatik, in der es kaum oder keine Laborexperimente mit solchen Meßwerten gibt, generell vom Verdacht des Wissenschaftsbetrugs ausnimmt. Ich bin der Meinung, daß das reine Erfinden oder Behaupten, daß ein Protokoll eine Eigenschaft habe, ohne das nachzuweisen oder wenigstens plausibel zu machen, oder sogar wider besseres Wissen zu behaupten, dem Erfinden von Laborwerten gleichstellen müßte. Es ist in meinem Augen, als habe man einen Laborwert erfunden, den man nicht gemessen hat.
Auf eine Äußerung von mir in dieser Richtung bekam ich eine heftige Gegenreaktion:
Frage von mir: “Normalerweise versteht man unter Wissenschaftsbetrug, daß jemand Meßwerte von Laboruntersuchungen erfindet oder verändert, vor allem in der Biologie, Medizin, Chemie, Physik. In der Informatik gibt es solche Labormesswerte meist nicht. Könnte man es als Analogon dazu ansehen, wenn jemand Eigenschaften eines Protokolls behauptet, das diese so nicht hat?”
Reaktion eines Universitätswissenschaftlers aus dem Bereich Informatik/Sicherheit: “Nein. Denn es ist normaler wissenschaftlicher Diskurs, etwas zu behaupten (es geht um “behaupten”, nicht um “erfinden”, “verändern”), dann widerlegt zu bekommen (d.h. das Behauptete wird als nicht wahr gegenbehauptet), woraufhin man sich entweder auf die neue Behauptung einigt, oder dieser widerspricht, usw. Einen Betrug kann ich darin nicht erkennen, im Gegenteil. Bei diesem Ton und mit diesen Unterstellungen wäre eine wissenschaftliche Diskusison nicht möglich.”
Ach Du liebe Güte.
Sicherlich gibt es Wissenschaften, die auf Modellen beruhen, wie die Physik und die Chemie, wo man sich ein Modell überlegt, und das so lange beibehält, bis irgendwer zeigt, daß es nicht mit der Realität übereinstimmt. Aber die behaupten auch nie, daß das Modell der Wahrheit entspräche. Die wissen von vornherein, was man sich unter einem Modell und dem nächsten vorzustellen hat.
Anders in der IT-Sicherheit und der Kryptographie. Da kann man meines Erachtens nicht einfach so mal etwas behaupten und dann dabei bleiben, daß ein Protokoll eine Eigenschaft hätte, bis irgendwer es widerlegt. Ich halte das für hanebüchen und unvertretbar.
Es zeigt aber, wie so manches wissenschaftliche Paper zustandekommt. Insbesondere vor dem Hintergrund, daß – wie ich das schon mehrfach erlebt habe – auf Konferenzen Kritik unerwünscht ist und vom Zeitplan erwürgt wird, die Konferenzbände mit den Papers – im Gegensatz zur Kritik – gedruckt und veröffentlicht werden, und die Menge der Veröffentlichungen ohnehin niemand in dieser Menge lesen und nachprüfen kann.
Es paßt aber genau auf die Mängel, die ich schon in vielen Dissertationen gefunden habe. Da wird einfach mal drauflosplagiiert und -zitiert, Seiten aufgeschäumt, irgendein Käse behauptet, und dann darauf spekuliert, daß Dissertationen nie wieder gelesen werden. Und plötzlich soll es wahr sein, was darin steht, allein schon weil es keiner widerlegt hat.
Aber selbst dann, wenn man jemanden dabei ertappt, daß er einfach irgendetwas behauptet, dürfte man laut dem oben zitierten Wissenschaftler nicht von einem Schwindel ausgehen, sondern einigt sich halt auf den nächsten, und so weiter. So ist es völlig risikolos, einfach mal irgendetwas draufloszubehaupten.
Es ist sehr interessant, so die Funktionsweisen der Wissenschaft zu ergründen. Ich verstehe immer mehr über die Hintergründe.
9 Kommentare (RSS-Feed)
Zunächst mal danke für die persönliche Kritik, sich selbst zu beurteilen und zu korrigieren klappt nicht wirklich.
Ja, in diesem Fall glaube ich an wissenschaftlichen Schwindel, denn ich weiß einiges mehr als man nach außen hin sieht.
Das Wissenschaftsministerium wollte Müller-Quade erst nicht auf die Nachfolge Beth berufen, weil er eine Hausberufung wäre und sogar ein Berufungsgutachter festgestellt hat, daß er nicht gut genug ist.
Nun wollte man ihn aber doch berufen und sich über das gesetzliche Hausberufungsverbot einfach hinwegsetzen. Laut Gesetz ist das nur in ganz besonderen Ausnahmefällen möglich, was hier nicht gegeben ist.
Das Paper zu Bingo Voting ist meines Erachtens nur zu einer dieser vielen unsäglichen Kollegialkonferenzen gegangen, auf der man halt irgendwas einreicht und sich auf Gegenseitigkeit annimmt, auf daß alle ihre Literaturlisten verlängern. Kennt man ja. Vermutlich war Bingo damals eher bedeutungslos, wird auch keiner so genau gelesen haben.
Ich hege aber den Verdacht, daß man hier zur Rechtfertigung der Hausberufung und im Zusammenhang mit dem Streit vor dem Bundesverfassungsgericht ganz bewußt ein Protokoll da hochgepusht hat ohne es zu prüfen.
In der Preisjury war das BSI vertreten, das im Gerichtsstreit Gegenpartei war. Das Innenministerium hatte bekanntlich alle Mühe, das BVerfG von der Sicherheit von Wahlmaschinen zu überzeugen. Da kam das wohl gerade recht.
Und Utimaco, von denen der Rest der Jury abhängt, hatte auch ein erhebliches Interesse daran, daß das BVerfG Wahlmaschinen nicht gänzlich verbietet.
Und dann kommt noch die Querverbindung Karlsruhe-Darmstadt hinzu, die aus diversen Gründen ein echtes Interesse daran haben, daß da kein allzu kritischer Geist auf die Professur kommt. Es riecht schon sehr danach, daß man dem da just in time den Vorwand für die Hausberufung zugeworfen hat.
Ich glaube nicht, daß man bewußt ein fälschungstaugliches Protokoll unters Volk bringen wollte, denn so extrem sind die Lücken, die ich sehe, auch wieder nicht. Ich glaube aber, daß man in dieser Situation bewußt ein Verfahren, das (noch) nicht taugt, für eine Kampagne rausgehängt hat, obwohl man sich der Macken und Widersprüche bewußt war.
Und da das ganze nun doch nicht ganz so gelaufen ist, wie man sich das vorgestellt hat, versucht man nun, mit solchen heißen Sprüchen das übliche Verhalten zu rechtfertigen.
Zur Polizistenkrankheit: Bedenke bitte, daß Bingo Voting nicht einfach von irgendwem kommt, sondern von einer Universität, deren Mängel ich inzwischen sehr gut kenne, aus einem Sicherheits-Institut, an dem ich selbst 8 Jahre war und die Zustände kenne, und in der Jury auch Leute saßen, mit denen ich auch schon mehr oder weniger intensiv zu tun hatte. Ich greife da nicht ganz aus der Luft, sondern weiß schon, mit wem ich es da zu tun habe.
Allerdings gebe ich zu, daß man schon etwas an dieser “Polizistenkrankheit” leiden könnte, wenn man 10 Jahre lang mit Schwindel, Korruption und Betrug in der Kryptographie zu tun hatte. Ist es deshalb falsch, was man sieht? Braucht man da nicht mal eine andere Sichtweise, und sei es die des Polizisten?
Nein, man braucht schon die Sichtweise. Aber gerade dann muss es auch möglich sein, dass man manchmal noch Unfähigkeit, Fahrlässigkeit oder schlicht auch mal Unschuld als möglich annehmen kann. Das ist nämlich die Gefahr der Polizistenkrankheit.
Natürlich kenne ich auch nicht die Art und Weise wie die Herrschaften walten, deshalb würde ich mir da auch kein Urteil herausnehmen, sondern nehme dein PDF (das übrigens lange zum lesen braucht) als interessante Information wahr.
Auch muss ich sagen, dass ich solch einen “Betrug” wie du es im Kommentar näher ausgeführt hast, für wahrscheinlicher halte, wie es sich für mich zuerst anhörte (die Artikelautoren und Programmierer haben absichtlich gepfuscht).
Allerdings ist das dann kein Wissenschaftsbetrug mehr. Sondern eher ein Betrug einer halbakademischen “Industrie”, die Sicherheitslösungen produziert.
Aber der wissenschaftliche Diskurs ist als vom Typus her nicht “unvertretbar”. Zwar nicht so gründlich wie man es sich wünschen würde, aber nicht an sich falsch. Und das mit der fehlenden Gründlichkeit, ich glaube, das kommt nicht nur im akademischen IT-Sec-Bereich vor. Das ist eher so ein gesellschaftliches Problem.
Unfähigkeit oder Fahrlässigkeit kann ich mir durchaus vorstellen. An Unschuld glaube ich bei der Sach- und Aktenlage nicht.
Doch, ich halte es für Wissenschaftsbetrug, weil es hier um Sachverständigenaussagen gegenüber dem BVerfG, das Getröte einer Universität und die Besetzung einer Professur geht.
Wenn man diese Art des Diskurses bevorzugt: Bitte. Aber dann kann man nicht hingehen und für sich beanspruchen, das Protokoll sei überzeugend und 100% sicher und getestet und sonstwas.
Dann muß man auch sagen, daß man sich wünscht, daß es diese Eigenschaft hat und es noch keiner nachgeprüft hat.
Spätestens dann, wenn man diese Art des Diskurses einschlägt, selbst wenn sie vertretbar sei, und dann behauptet, das Verfahren wäre beweisbar sicher, dann ist das die Unwahrheit.
Diese Form des Diskurses, nämlich zu behaupten und auf Widerspruch zu warten, führt nicht zu einer beweisbaren Eigenschaft.
Außerdem halte ich sie für hier nicht vertretbar und für faul obendrein: Der Autor soll einfach behaupten dürfen, während der Leser nicht einfach nur behaupten darf, sondern beweisfest widerlegen muß. Damit ergibt sich ein riesiger taktischer Vorteil zugunsten der willkürlichen Behauptung, was auch die Flut der Papers erklärt.
Wenn man dem Autor erlauben will, allein mit Behauptungen zu arbeiten, dann müßte man auch dem Gegner dasselbe Recht einräumen. Wissenschaft wäre das aber nicht mehr.
Mir fiel im übrigen gerade das hier ein: http://www.phdcomics.com/comics/archive.php?comicid=680 🙂
Ja, ich stimme dir zu, man kann nicht beanspruchen, dass das Protokoll 100% sicher und getestet ist. Das kann man erst nach einiger Zeit sagen.
Und man soll natürlich nicht nur behaupten sondern auch einen Beweis führen.
Wenn der Beweis natürlich einen Fehler hat, wird das imo auch zur Kenntnis genommen. Nur sind doch die akademischen Gefilde auch nicht gerade schnell. Das dauert halt einfach.
Ich tippe ebenfalls auf Ignoranz/Inkompetenz statt auf gezielten Betrug. Auch wenn ich mir bei den Autoren selbst nicht sicher waere. Die haben sich wahrscheinlich gedacht “Ja cool, da sitzen lauter Schlipstraeger in der Jury, da kann man mal eben was abstauben”. Und das ist in dieser Gesellschaft leider normal. Jeder hier lernt von klein auf, dass man sich selbst der naechste ist.
Du ziehst dann weiter deine Kreise und erkennst, dass das BSI, Ultimaco, deine Uni allesamt seben diesem Sicherheitspreis noch weitere Interessen hatten und damit quasi befangen sind. Der Haken dabei ist, dass diese Branche halt nunmal nicht so gross ist. Wer in IT-Security in Deutschland was macht, ist auch irgendwie schonmal mit dem Goertz-Institut in Beruehrung gekommen. Viele Unis hat man auch nicht zur Auswahl, ebensowenig wie Firmen.
Also klar stecken gerade die Grossen da an mehreren Enden mit ihren Fingern drin. Klar haben viele gar keine Ahnung und beschraenken sich darauf, gut auszusehen. Und klar schneiden sich die Leute nicht selbst ins Fleisch, sondern geniessen die Vorteile davon an mehreren Stellen etwas Einfluss zu haben. Das macht man heute leider ueberall so, uneigennuetzigkeit ist nicht mehr angesagt.
Ich finde es in Ordnung dass der ‘Diskurs’ so ablaeuft. Den Wert eines Papers muss man eben selbst beurteilen bzw auf die Qualitaet der Konferenz schauen. Nicht in Ordnung ist, wenn die Herren weiterhin bei ihrer Behauptung bleiben. Du kannst natuerlich selbst ein Paper ueber die Schwaechen von BingoVoting schreiben und es in einer deutschen Konferenz einreichen. Am besten in einer Form, in der es auch wissenschaftlichen Wert hat. Die weniger renommierten nehmen mangels Input eh so gut wie alles an. Oder mach es wie die Dresdner, die reichen immer wieder die selben Inhalte auf verschiedenen Konferenzen ein, weil sie mehr oder weniger ignoriert werden 🙂
Ja, das scheint wohl so zu sein, daß bei der Annahme und Ablehnung von Papers vor allem die Cliquen-Bildung und das “Eine Hand reviewed die andere” zum Tragen kommt.
Bei einer Konferenz am MIT wurde mir mal ganz klar gesagt, daß die Auswahl der Papers nicht anhand Qualität, sondern danach, wen man mal wieder sehen wollte und wem man noch die Annahme von Papers schuldete, verlief.
Den abgelehnten Autoren sagte man, daß die Konferenzzeit für alle ihre Papers leider nicht reichen würde, gleichzeitig kürzte man die Konferenz von zwei Tagen auf einen, weil sich herausstellte, daß alle die “wichtigen” Leute nur am ersten Tag konnten und man es dann einfach als überflüssig ansah, sich noch einen zweiten Tag mit einer Konferenz abzugeben.
Zum Thema Forschung IT-Sicherheit und Darmstadt. 😉
PS: Wie stellt man es an, (außer man ist Uni Karlsruhe) an die Forschunggelder zu kommen?
Zur Frage des Vorsatzes: Wenn ich als Bauer meine Eier zu Markte fahre, und dabei in ein Schlagloch krache… . Jetzt baue ich meinen Stand auf, mache eine Packung mit 10 Eiern auf, und sehe: Eins kaputt!
Ups! Das war nicht meine Absicht! Schnell die Packung wieder zu – vielleicht merkt es der Kunde erst zuhause.
Das Ei habe ich nicht absichtlich kaputt gemacht, und bin nicht zum Markt gefahren, um kaputte Eier zu verkaufen.
Aber in dem Moment in dem ich die Packung wieder zumache, und 9 Eier als 10 verkaufe, ist es natürlich Betrug, und wenn ich in die anderen Packungen lieber erst gar nicht reinschaue, weil ich nicht wissen will, was ich aber doch ahne, ist das auch Betrug.
Der Kunde wird getäuscht, und ich habe einen wirtschaftlichen Vorteil.
Wenn ich als Gutachter das Salär einstreiche habe ich auch einen Vorteil, und die, die das Gutachten lesen, werden getäuscht, wenn ich weiß, das nicht stimmt was darin steht.
Ein kunstvolles um-die-Probleme-herum-Gedeute ist dabei für mich auch ein Hinweis auf Vorsatz – natürlich nicht bei der Entwicklung des Bingo-Votings, aber bei der Darstellung seiner Fähigkeiten, bei der Bewertung.
Ich würde es auch nicht als Betrug betiteln. Denn Betrug braucht einen Vorsatz. Und den Machern ist eher nicht klar, dass ihr Protokoll das nicht leistet, was es soll. Zwar ist es etwas bei diesem schon etwas peinlich, aber ich habe wissenschaftlichen Diskurs auch schon so erlebt. Vor allem, wenn Beweise von Sicherheit bei Reduktionen auf schwere Probleme komplizierter werden. Da läuft der Diskurs auch so ab.
Ist natürlich nicht so prestigeträchtig.
Glaubst du wirklich, die Macher wollten aktiv und bewusst andere täuschen? Das ist nämlich die Prämisse des Betrugs. Ich glaube eher, das wurde schnellschnell rausgehauen, denn Zeit ist Geld und alle wollen ja wissenschaftlichen Ruhm ernten. Also eher Fahrlässigkeit.
Ich glaube allerdings, dass du eher z.T. an der Polizistenkrankheit leidest. 😉
Weil du krasses Fehlverhalten gesehen hast (mehr kann ich dazu nicht sagen, ich kenne schliesslich nur deine Seite) und das mittlerweile mehrfach denkst du, bei jedem steckt böse Absicht dahinter.
Trotz allem bin ich über deine Aussagen auf der Webseite sehr froh. Es erzeugt vielleicht etwas mehr wissenschaftliche Hygiene und Sorgfalt.